newtrain2 <- read.csv("../data/cleandata/newtrain2.csv", header = T)
newtest2 <- read.csv("../data/cleandata/newtest2.csv", header = T)
str(newtrain2)
## 'data.frame':    32402 obs. of  44 variables:
##  $ age                  : int  39 50 38 53 28 37 49 52 31 42 ...
##  $ education.num        : int  13 13 9 7 13 14 5 9 14 13 ...
##  $ capital.gain         : int  2174 0 0 0 0 0 0 0 14084 5178 ...
##  $ capital.loss         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ hours.per.week       : int  40 13 40 40 40 40 16 45 50 40 ...
##  $ Local.gov            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ No.gain              : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Private              : int  0 0 1 1 1 1 1 0 1 1 ...
##  $ Self.emp.inc         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Self.emp.not.inc     : int  0 1 0 0 0 0 0 1 0 0 ...
##  $ State.gov            : int  1 0 0 0 0 0 0 0 0 0 ...
##  $ Married.AF.spouse    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Married.civ.spouse   : int  0 1 0 1 1 1 0 1 0 1 ...
##  $ Married.spouse.absent: int  0 0 0 0 0 0 1 0 0 0 ...
##  $ Never.married        : int  1 0 0 0 0 0 0 0 1 0 ...
##  $ Separated            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Widowed              : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Armed.Forces         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Craft.repair         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Exec.managerial      : int  0 1 0 0 0 1 0 1 0 1 ...
##  $ Farming.fishing      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Handlers.cleaners    : int  0 0 1 1 0 0 0 0 0 0 ...
##  $ Machine.op.inspct    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Other.service        : int  0 0 0 0 0 0 1 0 0 0 ...
##  $ Priv.house.serv      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Prof.specialty       : int  0 0 0 0 1 0 0 0 1 0 ...
##  $ Protective.serv      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Sales                : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Tech.support         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Transport.moving     : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Not.in.family        : int  1 0 1 0 0 0 1 0 1 0 ...
##  $ Other.relative       : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Own.child            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Unmarried            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Wife                 : int  0 0 0 0 1 1 0 0 0 0 ...
##  $ Asian.Pac.Islander   : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Black                : int  0 0 0 1 1 0 1 0 0 0 ...
##  $ Other                : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ White                : int  1 1 1 0 0 1 0 1 1 1 ...
##  $ Male                 : int  1 1 1 1 0 0 0 1 0 1 ...
##  $ other_countries      : int  0 0 0 0 1 0 1 0 0 0 ...
##  $ Philippines          : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ United.States        : int  1 1 1 1 0 1 0 1 1 1 ...
##  $ income               : Factor w/ 2 levels "<=50K",">50K": 1 1 1 1 1 1 1 2 2 2 ...
str(newtest2)
## 'data.frame':    16196 obs. of  44 variables:
##  $ age                  : int  25 38 28 44 18 34 29 63 24 55 ...
##  $ education.num        : int  7 9 12 10 10 6 9 15 10 4 ...
##  $ capital.gain         : int  0 0 0 7688 0 0 0 3103 0 0 ...
##  $ capital.loss         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ hours.per.week       : int  40 50 40 40 30 30 40 32 40 10 ...
##  $ Local.gov            : int  0 0 1 0 0 0 0 0 0 0 ...
##  $ No.gain              : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Private              : int  1 1 0 1 1 1 1 0 1 1 ...
##  $ Self.emp.inc         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Self.emp.not.inc     : int  0 0 0 0 0 0 0 1 0 0 ...
##  $ State.gov            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Married.AF.spouse    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Married.civ.spouse   : int  0 1 1 1 0 0 0 1 0 1 ...
##  $ Married.spouse.absent: int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Never.married        : int  1 0 0 0 1 1 1 0 1 0 ...
##  $ Separated            : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Widowed              : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Armed.Forces         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Craft.repair         : int  0 0 0 0 0 0 0 0 0 1 ...
##  $ Exec.managerial      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Farming.fishing      : int  0 1 0 0 0 0 0 0 0 0 ...
##  $ Handlers.cleaners    : int  0 0 0 0 0 0 1 0 0 0 ...
##  $ Machine.op.inspct    : int  1 0 0 1 0 0 0 0 0 0 ...
##  $ Other.service        : int  0 0 0 0 0 1 0 0 1 0 ...
##  $ Priv.house.serv      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Prof.specialty       : int  0 0 0 0 0 0 0 1 0 0 ...
##  $ Protective.serv      : int  0 0 1 0 0 0 0 0 0 0 ...
##  $ Sales                : int  0 0 0 0 1 0 0 0 0 0 ...
##  $ Tech.support         : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Transport.moving     : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Not.in.family        : int  0 0 0 0 0 1 0 0 0 0 ...
##  $ Other.relative       : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Own.child            : int  1 0 0 0 1 0 0 0 0 0 ...
##  $ Unmarried            : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ Wife                 : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Asian.Pac.Islander   : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Black                : int  1 0 0 1 0 0 1 0 0 0 ...
##  $ Other                : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ White                : int  0 1 1 0 1 1 0 1 1 1 ...
##  $ Male                 : int  1 1 1 1 0 1 1 1 0 1 ...
##  $ other_countries      : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ Philippines          : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ United.States        : int  1 1 1 1 1 1 1 1 1 1 ...
##  $ income               : Factor w/ 2 levels "<=50K",">50K": 1 1 2 2 1 1 1 2 1 1 ...

Boosted Trees with five different models

set.seed(100)



#Change to binary digit
combined <- rbind(newtrain2, newtest2)
combined$income <- as.numeric(combined$income) - 1



#First model
boosting1 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
                interaction.depth = 5)
summary(boosting1)

##                                         var       rel.inf
## Married.civ.spouse       Married.civ.spouse 38.1837367227
## education.num                 education.num 20.9431635081
## capital.gain                   capital.gain 19.4087323351
## age                                     age  5.9208507786
## capital.loss                   capital.loss  5.6876403549
## hours.per.week               hours.per.week  4.1947843573
## Exec.managerial             Exec.managerial  2.1507741422
## Prof.specialty               Prof.specialty  0.7081632260
## Farming.fishing             Farming.fishing  0.6308016194
## Other.service                 Other.service  0.4673220145
## Wife                                   Wife  0.4662046626
## Self.emp.not.inc           Self.emp.not.inc  0.4328393928
## Tech.support                   Tech.support  0.2974840537
## Male                                   Male  0.2127979776
## Self.emp.inc                   Self.emp.inc  0.0755118841
## Sales                                 Sales  0.0653378908
## Machine.op.inspct         Machine.op.inspct  0.0257029903
## Handlers.cleaners         Handlers.cleaners  0.0256512584
## Married.AF.spouse         Married.AF.spouse  0.0189114782
## White                                 White  0.0172110098
## Local.gov                         Local.gov  0.0118613048
## Protective.serv             Protective.serv  0.0118433164
## Not.in.family                 Not.in.family  0.0098799096
## Never.married                 Never.married  0.0091057857
## Own.child                         Own.child  0.0083974189
## United.States                 United.States  0.0068051014
## Philippines                     Philippines  0.0026801348
## other_countries             other_countries  0.0017482677
## Transport.moving           Transport.moving  0.0012086023
## Private                             Private  0.0011931320
## Unmarried                         Unmarried  0.0007028850
## Asian.Pac.Islander       Asian.Pac.Islander  0.0003466238
## State.gov                         State.gov  0.0003137560
## Black                                 Black  0.0002921043
## No.gain                             No.gain  0.0000000000
## Married.spouse.absent Married.spouse.absent  0.0000000000
## Separated                         Separated  0.0000000000
## Widowed                             Widowed  0.0000000000
## Armed.Forces                   Armed.Forces  0.0000000000
## Craft.repair                   Craft.repair  0.0000000000
## Priv.house.serv             Priv.house.serv  0.0000000000
## Other.relative               Other.relative  0.0000000000
## Other                                 Other  0.0000000000
varImp(boosting1, numTrees = 5000)
##                             Overall
## age                    41799.956531
## education.num         147854.313003
## capital.gain          137021.552859
## capital.loss           40153.540174
## hours.per.week         29614.291991
## Local.gov                 83.738308
## No.gain                    0.000000
## Private                    8.423260
## Self.emp.inc             533.097960
## Self.emp.not.inc        3055.754736
## State.gov                  2.215051
## Married.AF.spouse        133.511044
## Married.civ.spouse    269569.120198
## Married.spouse.absent      0.000000
## Never.married             64.284925
## Separated                  0.000000
## Widowed                    0.000000
## Armed.Forces               0.000000
## Craft.repair               0.000000
## Exec.managerial        15184.011389
## Farming.fishing         4453.326263
## Handlers.cleaners        181.092469
## Machine.op.inspct        181.457685
## Other.service           3299.194765
## Priv.house.serv            0.000000
## Prof.specialty          4999.482874
## Protective.serv           83.611314
## Sales                    461.271715
## Tech.support            2100.174616
## Transport.moving           8.532477
## Not.in.family             69.750076
## Other.relative             0.000000
## Own.child                 59.284005
## Unmarried                  4.962219
## Wife                    3291.306496
## Asian.Pac.Islander         2.447091
## Black                      2.062194
## Other                      0.000000
## White                    121.506095
## Male                    1502.308798
## other_countries           12.342401
## Philippines               18.921186
## United.States             48.042579
#Test error of the first model
set.seed(100)
testerror1 <- c()
thresh <- 0.5
for(i in 1:500){
  #If I do not type = "response", they will give you logit output.
  yhat <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  testerror1[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror1)

#ROC curve - testing
pos1 <- c()
pos1 <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
predicts1 <- prediction(pos1, combined[32403:48598, 44])
roc1 <- ROCR::performance(predicts1, measure = "tpr", x.measure = "fpr")
plot(roc1)
abline(0, 1, col = "red")

auc1 <- ROCR::performance(predicts1, measure = "auc")
auc1@y.values
## [[1]]
## [1] 0.913919
#Train error of the first model
set.seed(100)
trainerror1 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting1, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  trainerror1[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror1)

#ROC curve - training
pos1b <- c()
pos1b <- predict(boosting1, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts1b <- prediction(pos1b, combined[1:32402, 44])
roc1b <- ROCR::performance(predicts1b, measure = "tpr", x.measure = "fpr")
plot(roc1b)
abline(0, 1, col = "red")

auc1b <- ROCR::performance(predicts1b, measure = "auc")
auc1b@y.values
## [[1]]
## [1] 0.9161409
#Second model
set.seed(100)
boosting2 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 2000,
                interaction.depth = 5)
summary(boosting2)

##                                         var      rel.inf
## Married.civ.spouse       Married.civ.spouse 43.183739803
## education.num                 education.num 22.269924180
## capital.gain                   capital.gain 20.182879377
## age                                     age  4.792613523
## capital.loss                   capital.loss  4.080112884
## hours.per.week               hours.per.week  3.115147219
## Exec.managerial             Exec.managerial  1.571469479
## Prof.specialty               Prof.specialty  0.461127929
## Farming.fishing             Farming.fishing  0.183178723
## Self.emp.not.inc           Self.emp.not.inc  0.063849502
## Other.service                 Other.service  0.042141531
## Wife                                   Wife  0.020667103
## Tech.support                   Tech.support  0.020408954
## Male                                   Male  0.005805212
## Sales                                 Sales  0.002968312
## Self.emp.inc                   Self.emp.inc  0.002497470
## Never.married                 Never.married  0.001468800
## Local.gov                         Local.gov  0.000000000
## No.gain                             No.gain  0.000000000
## Private                             Private  0.000000000
## State.gov                         State.gov  0.000000000
## Married.AF.spouse         Married.AF.spouse  0.000000000
## Married.spouse.absent Married.spouse.absent  0.000000000
## Separated                         Separated  0.000000000
## Widowed                             Widowed  0.000000000
## Armed.Forces                   Armed.Forces  0.000000000
## Craft.repair                   Craft.repair  0.000000000
## Handlers.cleaners         Handlers.cleaners  0.000000000
## Machine.op.inspct         Machine.op.inspct  0.000000000
## Priv.house.serv             Priv.house.serv  0.000000000
## Protective.serv             Protective.serv  0.000000000
## Transport.moving           Transport.moving  0.000000000
## Not.in.family                 Not.in.family  0.000000000
## Other.relative               Other.relative  0.000000000
## Own.child                         Own.child  0.000000000
## Unmarried                         Unmarried  0.000000000
## Asian.Pac.Islander       Asian.Pac.Islander  0.000000000
## Black                                 Black  0.000000000
## Other                                 Other  0.000000000
## White                                 White  0.000000000
## other_countries             other_countries  0.000000000
## Philippines                     Philippines  0.000000000
## United.States                 United.States  0.000000000
varImp(boosting2, numTrees = 2000)
##                             Overall
## age                    29254.355185
## education.num         135936.742808
## capital.gain          123197.315843
## capital.loss           24905.215267
## hours.per.week         19015.016079
## Local.gov                  0.000000
## No.gain                    0.000000
## Private                    0.000000
## Self.emp.inc              15.244682
## Self.emp.not.inc         389.740585
## State.gov                  0.000000
## Married.AF.spouse          0.000000
## Married.civ.spouse    263595.730442
## Married.spouse.absent      0.000000
## Never.married              8.965628
## Separated                  0.000000
## Widowed                    0.000000
## Armed.Forces               0.000000
## Craft.repair               0.000000
## Exec.managerial         9592.329127
## Farming.fishing         1118.132183
## Handlers.cleaners          0.000000
## Machine.op.inspct          0.000000
## Other.service            257.234036
## Priv.house.serv            0.000000
## Prof.specialty          2814.748184
## Protective.serv            0.000000
## Sales                     18.118727
## Tech.support             124.577289
## Transport.moving           0.000000
## Not.in.family              0.000000
## Other.relative             0.000000
## Own.child                  0.000000
## Unmarried                  0.000000
## Wife                     126.153040
## Asian.Pac.Islander         0.000000
## Black                      0.000000
## Other                      0.000000
## White                      0.000000
## Male                      35.435306
## other_countries            0.000000
## Philippines                0.000000
## United.States              0.000000
#Test error of the second model
set.seed(100)
testerror2 <- c()
thresh <- 0.5
for(i in 1:200){
  yhat <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  testerror2[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror2)

#ROC curve - testing
pos2 <- c()
pos2 <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = 2000, type = "response")
predicts2 <- prediction(pos2, combined[32403:48598, 44])
roc2 <- ROCR::performance(predicts2, measure = "tpr", x.measure = "fpr")
plot(roc2)
abline(0, 1, col = "red")

auc2 <- ROCR::performance(predicts2, measure = "auc")
auc2@y.values
## [[1]]
## [1] 0.9026846
#Train error of the second model
set.seed(100)
trainerror2 <- c()
thresh <- 0.5
for(i in 1:200){
  yhat <- predict(boosting2, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  trainerror2[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror2)

#ROC curve - training
pos2b <- c()
pos2b <- predict(boosting2, newdata = combined[1:32402, -44], n.trees = 2000, type = "response")
predicts2b <- prediction(pos2b, combined[1:32402, 44])
roc2b <- ROCR::performance(predicts2b, measure = "tpr", x.measure = "fpr")
plot(roc2b)
abline(0, 1, col = "red")

auc2b <- ROCR::performance(predicts2b, measure = "auc")
auc2b@y.values
## [[1]]
## [1] 0.9032523
#Third model
set.seed(100)
boosting3 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
                interaction.depth = 3)
summary(boosting3)

##                                         var       rel.inf
## Married.civ.spouse       Married.civ.spouse 38.4653932551
## capital.gain                   capital.gain 21.5925456394
## education.num                 education.num 20.6266997102
## age                                     age  5.9262919869
## capital.loss                   capital.loss  4.9121468429
## hours.per.week               hours.per.week  4.1693779643
## Exec.managerial             Exec.managerial  2.1015494026
## Prof.specialty               Prof.specialty  0.5954335020
## Farming.fishing             Farming.fishing  0.5462841653
## Other.service                 Other.service  0.3328796337
## Wife                                   Wife  0.2756071261
## Self.emp.not.inc           Self.emp.not.inc  0.2224774222
## Tech.support                   Tech.support  0.1327361634
## Male                                   Male  0.0496445933
## Self.emp.inc                   Self.emp.inc  0.0362639675
## Sales                                 Sales  0.0067688417
## Married.AF.spouse         Married.AF.spouse  0.0028144804
## Not.in.family                 Not.in.family  0.0022786683
## Local.gov                         Local.gov  0.0012623225
## United.States                 United.States  0.0009382238
## White                                 White  0.0006060883
## No.gain                             No.gain  0.0000000000
## Private                             Private  0.0000000000
## State.gov                         State.gov  0.0000000000
## Married.spouse.absent Married.spouse.absent  0.0000000000
## Never.married                 Never.married  0.0000000000
## Separated                         Separated  0.0000000000
## Widowed                             Widowed  0.0000000000
## Armed.Forces                   Armed.Forces  0.0000000000
## Craft.repair                   Craft.repair  0.0000000000
## Handlers.cleaners         Handlers.cleaners  0.0000000000
## Machine.op.inspct         Machine.op.inspct  0.0000000000
## Priv.house.serv             Priv.house.serv  0.0000000000
## Protective.serv             Protective.serv  0.0000000000
## Transport.moving           Transport.moving  0.0000000000
## Other.relative               Other.relative  0.0000000000
## Own.child                         Own.child  0.0000000000
## Unmarried                         Unmarried  0.0000000000
## Asian.Pac.Islander       Asian.Pac.Islander  0.0000000000
## Black                                 Black  0.0000000000
## Other                                 Other  0.0000000000
## other_countries             other_countries  0.0000000000
## Philippines                     Philippines  0.0000000000
varImp(boosting3, numTrees = 5000)
##                             Overall
## age                    39889.279469
## education.num         138836.255637
## capital.gain          145337.268121
## capital.loss           33063.169794
## hours.per.week         28063.666657
## Local.gov                  8.496567
## No.gain                    0.000000
## Private                    0.000000
## Self.emp.inc             244.089143
## Self.emp.not.inc        1497.473309
## State.gov                  0.000000
## Married.AF.spouse         18.943987
## Married.civ.spouse    258906.720229
## Married.spouse.absent      0.000000
## Never.married              0.000000
## Separated                  0.000000
## Widowed                    0.000000
## Armed.Forces               0.000000
## Craft.repair               0.000000
## Exec.managerial        14145.319134
## Farming.fishing         3676.984156
## Handlers.cleaners          0.000000
## Machine.op.inspct          0.000000
## Other.service           2240.579568
## Priv.house.serv            0.000000
## Prof.specialty          4007.803433
## Protective.serv            0.000000
## Sales                     45.560398
## Tech.support             893.433859
## Transport.moving           0.000000
## Not.in.family             15.337489
## Other.relative             0.000000
## Own.child                  0.000000
## Unmarried                  0.000000
## Wife                    1855.084039
## Asian.Pac.Islander         0.000000
## Black                      0.000000
## Other                      0.000000
## White                      4.079520
## Male                     334.152799
## other_countries            0.000000
## Philippines                0.000000
## United.States              6.315091
#Test error of the third model
set.seed(100)
testerror3 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  testerror3[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror3)

#ROC curve - testing
pos3 <- c()
pos3 <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
predicts3 <- prediction(pos3, combined[32403:48598, 44])
roc3 <- ROCR::performance(predicts3, measure = "tpr", x.measure = "fpr")
plot(roc3)
abline(0, 1, col = "red")

auc3 <- ROCR::performance(predicts3, measure = "auc")
auc3@y.values
## [[1]]
## [1] 0.9086526
#Train error of the third model
set.seed(100)
trainerror3 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting3, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  trainerror3[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror3)

#ROC curve - training
pos3b <- c()
pos3b <- predict(boosting3, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts3b <- prediction(pos3b, combined[1:32402, 44])
roc3b <- ROCR::performance(predicts3b, measure = "tpr", x.measure = "fpr")
plot(roc3b)
abline(0, 1, col = "red")

auc3b <- ROCR::performance(predicts3b, measure = "auc")
auc3b@y.values
## [[1]]
## [1] 0.9100084
#Fourth model
set.seed(100)
boosting4 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
                interaction.depth = 3, shrinkage = 0.2)
summary(boosting4)

##                                         var      rel.inf
## Married.civ.spouse       Married.civ.spouse 18.026448560
## age                                     age 16.972500853
## education.num                 education.num 14.284120321
## hours.per.week               hours.per.week 12.663868474
## capital.gain                   capital.gain  9.733799355
## capital.loss                   capital.loss  4.043940259
## Exec.managerial             Exec.managerial  2.339896499
## Wife                                   Wife  2.312137098
## Self.emp.inc                   Self.emp.inc  1.477410233
## Sales                                 Sales  1.421837748
## Self.emp.not.inc           Self.emp.not.inc  1.363968271
## Prof.specialty               Prof.specialty  1.270072643
## Craft.repair                   Craft.repair  1.217346462
## Private                             Private  0.979140053
## Local.gov                         Local.gov  0.962075427
## Tech.support                   Tech.support  0.956414372
## Transport.moving           Transport.moving  0.929744557
## Protective.serv             Protective.serv  0.906260989
## Married.AF.spouse         Married.AF.spouse  0.847841879
## Male                                   Male  0.735702554
## State.gov                         State.gov  0.701580425
## Farming.fishing             Farming.fishing  0.614732088
## Not.in.family                 Not.in.family  0.542609381
## White                                 White  0.528052568
## other_countries             other_countries  0.515926852
## Asian.Pac.Islander       Asian.Pac.Islander  0.511077925
## United.States                 United.States  0.447415310
## Machine.op.inspct         Machine.op.inspct  0.424901024
## Never.married                 Never.married  0.387397190
## Other.service                 Other.service  0.383110797
## Black                                 Black  0.366741057
## Philippines                     Philippines  0.223151705
## Unmarried                         Unmarried  0.220840811
## Widowed                             Widowed  0.168091780
## Handlers.cleaners         Handlers.cleaners  0.138868006
## Married.spouse.absent Married.spouse.absent  0.137691429
## Separated                         Separated  0.100353469
## Other                                 Other  0.049692624
## Other.relative               Other.relative  0.040436779
## Own.child                         Own.child  0.038139196
## No.gain                             No.gain  0.007916710
## Priv.house.serv             Priv.house.serv  0.006746267
## Armed.Forces                   Armed.Forces  0.000000000
varImp(boosting4, numTrees = 5000)
##                            Overall
## age                   1625.9627048
## education.num         1368.4163056
## capital.gain           932.4963283
## capital.loss           387.4087914
## hours.per.week        1213.1964533
## Local.gov               92.1666628
## No.gain                  0.7584195
## Private                 93.8014511
## Self.emp.inc           141.5356499
## Self.emp.not.inc       130.6679292
## State.gov               67.2112858
## Married.AF.spouse       81.2231083
## Married.civ.spouse    1726.9307165
## Married.spouse.absent   13.1908156
## Never.married           37.1125852
## Separated                9.6138453
## Widowed                 16.1031641
## Armed.Forces             0.0000000
## Craft.repair           116.6215847
## Exec.managerial        224.1616879
## Farming.fishing         58.8912299
## Handlers.cleaners       13.3035314
## Machine.op.inspct       40.7054461
## Other.service           36.7019494
## Priv.house.serv          0.6462912
## Prof.specialty         121.6727439
## Protective.serv         86.8196491
## Sales                  136.2118152
## Tech.support            91.6243347
## Transport.moving        89.0693709
## Not.in.family           51.9818867
## Other.relative           3.8738366
## Own.child                3.6537285
## Unmarried               21.1565123
## Wife                   221.5023421
## Asian.Pac.Islander      48.9611786
## Black                   35.1337311
## Other                    4.7605449
## White                   50.5873465
## Male                    70.4801800
## other_countries         49.4257050
## Philippines             21.3778955
## United.States           42.8623109
#Test error of the fourth model
set.seed(100)
testerror4 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  testerror4[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror4)

#ROC curve - testing
pos4 <- c()
pos4 <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = 150, type = "response")
predicts4 <- prediction(pos4, combined[32403:48598, 44])
roc4 <- ROCR::performance(predicts4, measure = "tpr", x.measure = "fpr")
plot(roc4)
abline(0, 1, col = "red")

auc4 <- ROCR::performance(predicts4, measure = "auc")
auc4@y.values
## [[1]]
## [1] 0.9209653
#Train error of the fourth model
set.seed(100)
trainerror4 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting4, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  trainerror4[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror4)

#ROC curve - training
pos4b <- c()
pos4b <- predict(boosting4, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts4b <- prediction(pos4b, combined[1:32402, 44])
roc4b <- ROCR::performance(predicts4b, measure = "tpr", x.measure = "fpr")
plot(roc4b)
abline(0, 1, col = "red")

auc4b <- ROCR::performance(predicts4b, measure = "auc")
auc4b@y.values
## [[1]]
## [1] 0.9556233
#Fifth model
set.seed(100)
boosting5 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
                interaction.depth = 3, shrinkage = 0.1)
summary(boosting5)

##                                         var      rel.inf
## Married.civ.spouse       Married.civ.spouse 21.749111849
## education.num                 education.num 15.520807408
## age                                     age 13.841105494
## capital.gain                   capital.gain 13.128327788
## hours.per.week               hours.per.week 10.656667597
## capital.loss                   capital.loss  5.072048205
## Exec.managerial             Exec.managerial  2.049942975
## Wife                                   Wife  1.926472668
## Prof.specialty               Prof.specialty  1.288391194
## Self.emp.not.inc           Self.emp.not.inc  1.139338856
## Self.emp.inc                   Self.emp.inc  1.033026573
## Sales                                 Sales  1.017303679
## Private                             Private  0.863058329
## Married.AF.spouse         Married.AF.spouse  0.823091712
## Tech.support                   Tech.support  0.774572610
## Craft.repair                   Craft.repair  0.742961349
## Local.gov                         Local.gov  0.739759906
## Protective.serv             Protective.serv  0.687410865
## Transport.moving           Transport.moving  0.670745956
## Male                                   Male  0.641166610
## Farming.fishing             Farming.fishing  0.618918294
## State.gov                         State.gov  0.567625482
## Not.in.family                 Not.in.family  0.463684678
## White                                 White  0.435534037
## Asian.Pac.Islander       Asian.Pac.Islander  0.430976991
## Other.service                 Other.service  0.422750642
## other_countries             other_countries  0.353529212
## Machine.op.inspct         Machine.op.inspct  0.329448541
## United.States                 United.States  0.307138100
## Never.married                 Never.married  0.282278336
## Black                                 Black  0.268746977
## Unmarried                         Unmarried  0.228712965
## Philippines                     Philippines  0.222233474
## Widowed                             Widowed  0.167860893
## Handlers.cleaners         Handlers.cleaners  0.156685930
## Married.spouse.absent Married.spouse.absent  0.106604852
## Separated                         Separated  0.106553495
## Own.child                         Own.child  0.063757082
## Other                                 Other  0.053894161
## Other.relative               Other.relative  0.036158013
## No.gain                             No.gain  0.007362428
## Priv.house.serv             Priv.house.serv  0.004233794
## Armed.Forces                   Armed.Forces  0.000000000
varImp(boosting5, numTrees = 5000)
##                            Overall
## age                   1885.5216440
## education.num         2114.3411062
## capital.gain          1788.4226230
## capital.loss           690.9460140
## hours.per.week        1451.7176692
## Local.gov              100.7747043
## No.gain                  1.0029558
## Private                117.5711839
## Self.emp.inc           140.7253173
## Self.emp.not.inc       155.2078390
## State.gov               77.3254804
## Married.AF.spouse      112.1266822
## Married.civ.spouse    2962.7995501
## Married.spouse.absent   14.5223773
## Never.married           38.4537139
## Separated               14.5153811
## Widowed                 22.8670569
## Armed.Forces             0.0000000
## Craft.repair           101.2108249
## Exec.managerial        279.2560067
## Farming.fishing         84.3129070
## Handlers.cleaners       21.3447339
## Machine.op.inspct       44.8795333
## Other.service           57.5897270
## Priv.house.serv          0.5767538
## Prof.specialty         175.5126773
## Protective.serv         93.6433918
## Sales                  138.5834467
## Tech.support           105.5171079
## Transport.moving        91.3731940
## Not.in.family           63.1660164
## Other.relative           4.9256698
## Own.child                8.6853870
## Unmarried               31.1567054
## Wife                   262.4361121
## Asian.Pac.Islander      58.7103714
## Black                   36.6103879
## Other                    7.3417984
## White                   59.3311606
## Male                    87.3437111
## other_countries         48.1599524
## Philippines             30.2740288
## United.States           41.8402660
#Test error of the fifth model
set.seed(100)
testerror5 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  testerror5[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror5)

#ROC curve - testing
pos5 <- c()
pos5 <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = 800, type = "response")
predicts5 <- prediction(pos5, combined[32403:48598, 44])
roc5 <- ROCR::performance(predicts5, measure = "tpr", x.measure = "fpr")
plot(roc5)
abline(0, 1, col = "red")

auc5 <- ROCR::performance(predicts5, measure = "auc")
auc5@y.values
## [[1]]
## [1] 0.9231948
#Train error of the fifth model
set.seed(100)
trainerror5 <- c()
thresh <- 0.5
for(i in 1:500){
  yhat <- predict(boosting5, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
  yhat <- (yhat > thresh)
  trainerror5[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror5)

#ROC curve - training
pos5b <- c()
pos5b <- predict(boosting5, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts5b <- prediction(pos5b, combined[1:32402, 44])
roc5b <- ROCR::performance(predicts5b, measure = "tpr", x.measure = "fpr")
plot(roc5b)
abline(0, 1, col = "red")

auc5b <- ROCR::performance(predicts5b, measure = "auc")
auc5b@y.values
## [[1]]
## [1] 0.9496323
#ROC and AUC combined testing 
plot(roc1, type = "l", col = "red")
par(new = TRUE)
plot(roc2, type = "l", col = "green")
par(new = TRUE)
plot(roc3, type = "l", col = "blue")
par(new = TRUE)
plot(roc4, type = "l", col = "black")
par(new = TRUE)
plot(roc5, type = "l", col = "yellow",
     main = "model1: red, model2: green, model3: blue, model4: black, model5: yellow")

paste("AUC for model 1 is", round(auc1@y.values[[1]], 5))
## [1] "AUC for model 1 is 0.91392"
paste("AUC for model 2 is", round(auc2@y.values[[1]], 5))
## [1] "AUC for model 2 is 0.90268"
paste("AUC for model 3 is", round(auc3@y.values[[1]], 5))
## [1] "AUC for model 3 is 0.90865"
paste("AUC for model 4 is", round(auc4@y.values[[1]], 5))
## [1] "AUC for model 4 is 0.92097"
paste("AUC for model 5 is", round(auc5@y.values[[1]], 5))
## [1] "AUC for model 5 is 0.92319"
#ROC and AUC combined training 
plot(roc1b, type = "l", col = "red")
par(new = TRUE)
plot(roc2b, type = "l", col = "green")
par(new = TRUE)
plot(roc3b, type = "l", col = "blue")
par(new = TRUE)
plot(roc4b, type = "l", col = "black")
par(new = TRUE)
plot(roc5b, type = "l", col = "yellow",
     main = "model1: red, model2: green, model3: blue, model4: black, model5: yellow")

paste("AUC for model 1 is", round(auc1b@y.values[[1]], 5))
## [1] "AUC for model 1 is 0.91614"
paste("AUC for model 2 is", round(auc2b@y.values[[1]], 5))
## [1] "AUC for model 2 is 0.90325"
paste("AUC for model 3 is", round(auc3b@y.values[[1]], 5))
## [1] "AUC for model 3 is 0.91001"
paste("AUC for model 4 is", round(auc4b@y.values[[1]], 5))
## [1] "AUC for model 4 is 0.95562"
paste("AUC for model 5 is", round(auc5b@y.values[[1]], 5))
## [1] "AUC for model 5 is 0.94963"
#Partial dependence plots
variables <- c("Married.civ.spouse", "education.num", "age", "capital.gain",
               "hours.per.week", "capital.loss")
par(mfrow = c(2, 3))
for(i in 1:6){
  plot(boosting1, i = variables[i])
}

for(i in 1:6){
  plot(boosting2, i = variables[i])
}

for(i in 1:6){
  plot(boosting3, i = variables[i])
}

for(i in 1:6){
  plot(boosting4, i = variables[i])
}

for(i in 1:6){
  plot(boosting5, i = variables[i])
}

#Check imbalance
table(combined$income)
## 
##     0     1 
## 37155 11443
11443 / 48598 #23.5%
## [1] 0.2354624
37155 / 48598 #76.5%
## [1] 0.7645376

\(\\\)

\(\\\)

Train function

set.seed(100)
trctrl <- trainControl(method = "repeatedcv", number = 10, repeats = 5)
boostingtrain <- caret::train(income~., data = newtrain2, method = "gbm", metric = "Accuracy", trControl = trctrl)
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0185
##      2        1.0284             nan     0.1000    0.0149
##      3        1.0038             nan     0.1000    0.0122
##      4        0.9833             nan     0.1000    0.0100
##      5        0.9639             nan     0.1000    0.0097
##      6        0.9472             nan     0.1000    0.0080
##      7        0.9302             nan     0.1000    0.0083
##      8        0.9174             nan     0.1000    0.0062
##      9        0.9075             nan     0.1000    0.0049
##     10        0.8949             nan     0.1000    0.0063
##     20        0.8154             nan     0.1000    0.0023
##     40        0.7375             nan     0.1000    0.0012
##     60        0.6956             nan     0.1000    0.0010
##     80        0.6715             nan     0.1000    0.0006
##    100        0.6560             nan     0.1000    0.0002
##    120        0.6452             nan     0.1000    0.0001
##    140        0.6367             nan     0.1000    0.0003
##    150        0.6334             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0438             nan     0.1000    0.0260
##      2        1.0038             nan     0.1000    0.0197
##      3        0.9699             nan     0.1000    0.0165
##      4        0.9434             nan     0.1000    0.0132
##      5        0.9141             nan     0.1000    0.0146
##      6        0.8911             nan     0.1000    0.0116
##      7        0.8742             nan     0.1000    0.0082
##      8        0.8586             nan     0.1000    0.0080
##      9        0.8429             nan     0.1000    0.0079
##     10        0.8321             nan     0.1000    0.0054
##     20        0.7506             nan     0.1000    0.0022
##     40        0.6788             nan     0.1000    0.0008
##     60        0.6486             nan     0.1000    0.0004
##     80        0.6321             nan     0.1000    0.0002
##    100        0.6210             nan     0.1000    0.0002
##    120        0.6127             nan     0.1000    0.0001
##    140        0.6062             nan     0.1000    0.0001
##    150        0.6032             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0367             nan     0.1000    0.0296
##      2        0.9886             nan     0.1000    0.0236
##      3        0.9516             nan     0.1000    0.0183
##      4        0.9208             nan     0.1000    0.0154
##      5        0.8950             nan     0.1000    0.0129
##      6        0.8698             nan     0.1000    0.0124
##      7        0.8497             nan     0.1000    0.0100
##      8        0.8337             nan     0.1000    0.0080
##      9        0.8169             nan     0.1000    0.0082
##     10        0.8030             nan     0.1000    0.0070
##     20        0.7199             nan     0.1000    0.0027
##     40        0.6546             nan     0.1000    0.0010
##     60        0.6279             nan     0.1000    0.0002
##     80        0.6132             nan     0.1000    0.0001
##    100        0.6013             nan     0.1000    0.0001
##    120        0.5948             nan     0.1000    0.0002
##    140        0.5893             nan     0.1000    0.0001
##    150        0.5867             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0187
##      2        1.0279             nan     0.1000    0.0150
##      3        1.0036             nan     0.1000    0.0122
##      4        0.9832             nan     0.1000    0.0104
##      5        0.9636             nan     0.1000    0.0098
##      6        0.9491             nan     0.1000    0.0070
##      7        0.9328             nan     0.1000    0.0083
##      8        0.9173             nan     0.1000    0.0078
##      9        0.9072             nan     0.1000    0.0048
##     10        0.8946             nan     0.1000    0.0062
##     20        0.8117             nan     0.1000    0.0033
##     40        0.7370             nan     0.1000    0.0010
##     60        0.6943             nan     0.1000    0.0007
##     80        0.6707             nan     0.1000    0.0004
##    100        0.6552             nan     0.1000    0.0003
##    120        0.6448             nan     0.1000    0.0001
##    140        0.6365             nan     0.1000    0.0000
##    150        0.6329             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0431             nan     0.1000    0.0257
##      2        1.0030             nan     0.1000    0.0200
##      3        0.9693             nan     0.1000    0.0170
##      4        0.9415             nan     0.1000    0.0137
##      5        0.9126             nan     0.1000    0.0144
##      6        0.8891             nan     0.1000    0.0116
##      7        0.8715             nan     0.1000    0.0090
##      8        0.8541             nan     0.1000    0.0087
##      9        0.8392             nan     0.1000    0.0076
##     10        0.8281             nan     0.1000    0.0056
##     20        0.7486             nan     0.1000    0.0027
##     40        0.6755             nan     0.1000    0.0010
##     60        0.6468             nan     0.1000    0.0005
##     80        0.6319             nan     0.1000    0.0003
##    100        0.6195             nan     0.1000    0.0003
##    120        0.6115             nan     0.1000    0.0003
##    140        0.6053             nan     0.1000    0.0001
##    150        0.6023             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0359             nan     0.1000    0.0296
##      2        0.9895             nan     0.1000    0.0236
##      3        0.9521             nan     0.1000    0.0185
##      4        0.9194             nan     0.1000    0.0157
##      5        0.8942             nan     0.1000    0.0124
##      6        0.8710             nan     0.1000    0.0113
##      7        0.8490             nan     0.1000    0.0109
##      8        0.8308             nan     0.1000    0.0091
##      9        0.8155             nan     0.1000    0.0077
##     10        0.8019             nan     0.1000    0.0067
##     20        0.7189             nan     0.1000    0.0026
##     40        0.6532             nan     0.1000    0.0008
##     60        0.6278             nan     0.1000    0.0002
##     80        0.6123             nan     0.1000    0.0004
##    100        0.6011             nan     0.1000    0.0001
##    120        0.5929             nan     0.1000    0.0001
##    140        0.5870             nan     0.1000    0.0001
##    150        0.5844             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0577             nan     0.1000    0.0186
##      2        1.0270             nan     0.1000    0.0149
##      3        1.0030             nan     0.1000    0.0121
##      4        0.9828             nan     0.1000    0.0097
##      5        0.9629             nan     0.1000    0.0096
##      6        0.9456             nan     0.1000    0.0084
##      7        0.9296             nan     0.1000    0.0077
##      8        0.9168             nan     0.1000    0.0067
##      9        0.9039             nan     0.1000    0.0064
##     10        0.8914             nan     0.1000    0.0062
##     20        0.8145             nan     0.1000    0.0023
##     40        0.7356             nan     0.1000    0.0014
##     60        0.6942             nan     0.1000    0.0010
##     80        0.6687             nan     0.1000    0.0005
##    100        0.6541             nan     0.1000    0.0002
##    120        0.6431             nan     0.1000    0.0001
##    140        0.6353             nan     0.1000    0.0003
##    150        0.6322             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0433             nan     0.1000    0.0257
##      2        1.0031             nan     0.1000    0.0197
##      3        0.9700             nan     0.1000    0.0163
##      4        0.9425             nan     0.1000    0.0136
##      5        0.9135             nan     0.1000    0.0147
##      6        0.8906             nan     0.1000    0.0115
##      7        0.8709             nan     0.1000    0.0097
##      8        0.8562             nan     0.1000    0.0074
##      9        0.8425             nan     0.1000    0.0067
##     10        0.8308             nan     0.1000    0.0056
##     20        0.7479             nan     0.1000    0.0035
##     40        0.6767             nan     0.1000    0.0012
##     60        0.6450             nan     0.1000    0.0005
##     80        0.6295             nan     0.1000    0.0003
##    100        0.6194             nan     0.1000    0.0001
##    120        0.6106             nan     0.1000    0.0001
##    140        0.6040             nan     0.1000    0.0001
##    150        0.6014             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0362             nan     0.1000    0.0293
##      2        0.9906             nan     0.1000    0.0227
##      3        0.9517             nan     0.1000    0.0202
##      4        0.9212             nan     0.1000    0.0154
##      5        0.8957             nan     0.1000    0.0128
##      6        0.8732             nan     0.1000    0.0111
##      7        0.8513             nan     0.1000    0.0110
##      8        0.8333             nan     0.1000    0.0091
##      9        0.8173             nan     0.1000    0.0076
##     10        0.8051             nan     0.1000    0.0059
##     20        0.7203             nan     0.1000    0.0023
##     40        0.6532             nan     0.1000    0.0010
##     60        0.6264             nan     0.1000    0.0003
##     80        0.6106             nan     0.1000    0.0002
##    100        0.5997             nan     0.1000    0.0001
##    120        0.5906             nan     0.1000    0.0003
##    140        0.5850             nan     0.1000    0.0000
##    150        0.5827             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0592             nan     0.1000    0.0186
##      2        1.0298             nan     0.1000    0.0150
##      3        1.0052             nan     0.1000    0.0122
##      4        0.9850             nan     0.1000    0.0096
##      5        0.9653             nan     0.1000    0.0098
##      6        0.9515             nan     0.1000    0.0069
##      7        0.9350             nan     0.1000    0.0084
##      8        0.9193             nan     0.1000    0.0078
##      9        0.9061             nan     0.1000    0.0064
##     10        0.8932             nan     0.1000    0.0065
##     20        0.8137             nan     0.1000    0.0032
##     40        0.7373             nan     0.1000    0.0012
##     60        0.6957             nan     0.1000    0.0005
##     80        0.6710             nan     0.1000    0.0002
##    100        0.6550             nan     0.1000    0.0002
##    120        0.6428             nan     0.1000    0.0001
##    140        0.6359             nan     0.1000    0.0001
##    150        0.6329             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0257
##      2        1.0042             nan     0.1000    0.0193
##      3        0.9717             nan     0.1000    0.0160
##      4        0.9436             nan     0.1000    0.0143
##      5        0.9146             nan     0.1000    0.0143
##      6        0.8914             nan     0.1000    0.0116
##      7        0.8756             nan     0.1000    0.0081
##      8        0.8602             nan     0.1000    0.0077
##      9        0.8444             nan     0.1000    0.0082
##     10        0.8330             nan     0.1000    0.0056
##     20        0.7507             nan     0.1000    0.0028
##     40        0.6780             nan     0.1000    0.0010
##     60        0.6461             nan     0.1000    0.0004
##     80        0.6305             nan     0.1000    0.0001
##    100        0.6197             nan     0.1000    0.0002
##    120        0.6113             nan     0.1000    0.0002
##    140        0.6053             nan     0.1000   -0.0000
##    150        0.6026             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0358             nan     0.1000    0.0294
##      2        0.9889             nan     0.1000    0.0229
##      3        0.9511             nan     0.1000    0.0187
##      4        0.9214             nan     0.1000    0.0150
##      5        0.8956             nan     0.1000    0.0126
##      6        0.8706             nan     0.1000    0.0125
##      7        0.8491             nan     0.1000    0.0107
##      8        0.8315             nan     0.1000    0.0089
##      9        0.8155             nan     0.1000    0.0077
##     10        0.8008             nan     0.1000    0.0071
##     20        0.7214             nan     0.1000    0.0030
##     40        0.6546             nan     0.1000    0.0007
##     60        0.6268             nan     0.1000    0.0007
##     80        0.6112             nan     0.1000    0.0002
##    100        0.6013             nan     0.1000    0.0000
##    120        0.5946             nan     0.1000    0.0001
##    140        0.5874             nan     0.1000   -0.0000
##    150        0.5844             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0576             nan     0.1000    0.0187
##      2        1.0276             nan     0.1000    0.0150
##      3        1.0031             nan     0.1000    0.0122
##      4        0.9825             nan     0.1000    0.0102
##      5        0.9649             nan     0.1000    0.0086
##      6        0.9459             nan     0.1000    0.0096
##      7        0.9324             nan     0.1000    0.0069
##      8        0.9166             nan     0.1000    0.0078
##      9        0.9038             nan     0.1000    0.0063
##     10        0.8908             nan     0.1000    0.0064
##     20        0.8132             nan     0.1000    0.0022
##     40        0.7344             nan     0.1000    0.0012
##     60        0.6931             nan     0.1000    0.0010
##     80        0.6686             nan     0.1000    0.0006
##    100        0.6537             nan     0.1000    0.0001
##    120        0.6420             nan     0.1000    0.0002
##    140        0.6340             nan     0.1000    0.0001
##    150        0.6308             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0429             nan     0.1000    0.0259
##      2        1.0035             nan     0.1000    0.0195
##      3        0.9707             nan     0.1000    0.0163
##      4        0.9350             nan     0.1000    0.0179
##      5        0.9069             nan     0.1000    0.0142
##      6        0.8845             nan     0.1000    0.0111
##      7        0.8678             nan     0.1000    0.0085
##      8        0.8520             nan     0.1000    0.0078
##      9        0.8362             nan     0.1000    0.0076
##     10        0.8251             nan     0.1000    0.0054
##     20        0.7463             nan     0.1000    0.0025
##     40        0.6747             nan     0.1000    0.0009
##     60        0.6449             nan     0.1000    0.0003
##     80        0.6289             nan     0.1000    0.0003
##    100        0.6174             nan     0.1000    0.0003
##    120        0.6096             nan     0.1000    0.0000
##    140        0.6039             nan     0.1000    0.0001
##    150        0.6013             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0349             nan     0.1000    0.0302
##      2        0.9895             nan     0.1000    0.0226
##      3        0.9526             nan     0.1000    0.0180
##      4        0.9206             nan     0.1000    0.0162
##      5        0.8944             nan     0.1000    0.0132
##      6        0.8693             nan     0.1000    0.0127
##      7        0.8500             nan     0.1000    0.0097
##      8        0.8300             nan     0.1000    0.0098
##      9        0.8164             nan     0.1000    0.0066
##     10        0.8019             nan     0.1000    0.0074
##     20        0.7178             nan     0.1000    0.0025
##     40        0.6516             nan     0.1000    0.0011
##     60        0.6248             nan     0.1000    0.0003
##     80        0.6090             nan     0.1000    0.0001
##    100        0.6007             nan     0.1000    0.0001
##    120        0.5930             nan     0.1000    0.0001
##    140        0.5872             nan     0.1000    0.0000
##    150        0.5854             nan     0.1000   -0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0585             nan     0.1000    0.0185
##      2        1.0284             nan     0.1000    0.0149
##      3        1.0044             nan     0.1000    0.0121
##      4        0.9838             nan     0.1000    0.0100
##      5        0.9641             nan     0.1000    0.0097
##      6        0.9469             nan     0.1000    0.0084
##      7        0.9340             nan     0.1000    0.0065
##      8        0.9183             nan     0.1000    0.0077
##      9        0.9056             nan     0.1000    0.0063
##     10        0.8959             nan     0.1000    0.0050
##     20        0.8168             nan     0.1000    0.0023
##     40        0.7369             nan     0.1000    0.0011
##     60        0.6944             nan     0.1000    0.0011
##     80        0.6713             nan     0.1000    0.0003
##    100        0.6564             nan     0.1000    0.0005
##    120        0.6449             nan     0.1000    0.0002
##    140        0.6367             nan     0.1000    0.0002
##    150        0.6336             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0446             nan     0.1000    0.0258
##      2        1.0054             nan     0.1000    0.0199
##      3        0.9733             nan     0.1000    0.0157
##      4        0.9378             nan     0.1000    0.0182
##      5        0.9105             nan     0.1000    0.0135
##      6        0.8884             nan     0.1000    0.0112
##      7        0.8701             nan     0.1000    0.0093
##      8        0.8562             nan     0.1000    0.0069
##      9        0.8420             nan     0.1000    0.0071
##     10        0.8314             nan     0.1000    0.0053
##     20        0.7477             nan     0.1000    0.0037
##     40        0.6770             nan     0.1000    0.0010
##     60        0.6477             nan     0.1000    0.0004
##     80        0.6324             nan     0.1000    0.0002
##    100        0.6205             nan     0.1000    0.0003
##    120        0.6122             nan     0.1000    0.0001
##    140        0.6067             nan     0.1000    0.0001
##    150        0.6040             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0359             nan     0.1000    0.0295
##      2        0.9897             nan     0.1000    0.0225
##      3        0.9522             nan     0.1000    0.0184
##      4        0.9207             nan     0.1000    0.0159
##      5        0.8954             nan     0.1000    0.0128
##      6        0.8698             nan     0.1000    0.0126
##      7        0.8508             nan     0.1000    0.0095
##      8        0.8325             nan     0.1000    0.0090
##      9        0.8192             nan     0.1000    0.0066
##     10        0.8046             nan     0.1000    0.0071
##     20        0.7202             nan     0.1000    0.0027
##     40        0.6540             nan     0.1000    0.0009
##     60        0.6274             nan     0.1000    0.0007
##     80        0.6106             nan     0.1000    0.0006
##    100        0.6004             nan     0.1000    0.0001
##    120        0.5948             nan     0.1000    0.0002
##    140        0.5889             nan     0.1000    0.0000
##    150        0.5871             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0585             nan     0.1000    0.0186
##      2        1.0281             nan     0.1000    0.0150
##      3        1.0031             nan     0.1000    0.0122
##      4        0.9828             nan     0.1000    0.0101
##      5        0.9632             nan     0.1000    0.0097
##      6        0.9455             nan     0.1000    0.0087
##      7        0.9324             nan     0.1000    0.0065
##      8        0.9164             nan     0.1000    0.0077
##      9        0.9034             nan     0.1000    0.0065
##     10        0.8940             nan     0.1000    0.0047
##     20        0.8128             nan     0.1000    0.0023
##     40        0.7335             nan     0.1000    0.0013
##     60        0.6927             nan     0.1000    0.0007
##     80        0.6686             nan     0.1000    0.0006
##    100        0.6529             nan     0.1000    0.0004
##    120        0.6424             nan     0.1000    0.0002
##    140        0.6347             nan     0.1000    0.0003
##    150        0.6319             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0423             nan     0.1000    0.0261
##      2        1.0025             nan     0.1000    0.0200
##      3        0.9693             nan     0.1000    0.0165
##      4        0.9426             nan     0.1000    0.0131
##      5        0.9136             nan     0.1000    0.0145
##      6        0.8932             nan     0.1000    0.0097
##      7        0.8724             nan     0.1000    0.0105
##      8        0.8561             nan     0.1000    0.0081
##      9        0.8425             nan     0.1000    0.0067
##     10        0.8292             nan     0.1000    0.0066
##     20        0.7465             nan     0.1000    0.0028
##     40        0.6750             nan     0.1000    0.0012
##     60        0.6458             nan     0.1000    0.0004
##     80        0.6298             nan     0.1000    0.0004
##    100        0.6182             nan     0.1000    0.0001
##    120        0.6098             nan     0.1000    0.0001
##    140        0.6043             nan     0.1000    0.0001
##    150        0.6015             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0353             nan     0.1000    0.0298
##      2        0.9874             nan     0.1000    0.0236
##      3        0.9512             nan     0.1000    0.0184
##      4        0.9188             nan     0.1000    0.0161
##      5        0.8936             nan     0.1000    0.0126
##      6        0.8708             nan     0.1000    0.0115
##      7        0.8492             nan     0.1000    0.0109
##      8        0.8310             nan     0.1000    0.0091
##      9        0.8173             nan     0.1000    0.0064
##     10        0.8047             nan     0.1000    0.0059
##     20        0.7172             nan     0.1000    0.0028
##     40        0.6512             nan     0.1000    0.0008
##     60        0.6241             nan     0.1000    0.0003
##     80        0.6086             nan     0.1000    0.0002
##    100        0.5981             nan     0.1000    0.0001
##    120        0.5908             nan     0.1000    0.0000
##    140        0.5852             nan     0.1000   -0.0000
##    150        0.5821             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0575             nan     0.1000    0.0187
##      2        1.0272             nan     0.1000    0.0150
##      3        1.0024             nan     0.1000    0.0122
##      4        0.9822             nan     0.1000    0.0105
##      5        0.9626             nan     0.1000    0.0098
##      6        0.9460             nan     0.1000    0.0086
##      7        0.9326             nan     0.1000    0.0065
##      8        0.9172             nan     0.1000    0.0078
##      9        0.9071             nan     0.1000    0.0049
##     10        0.8950             nan     0.1000    0.0063
##     20        0.8139             nan     0.1000    0.0035
##     40        0.7337             nan     0.1000    0.0013
##     60        0.6914             nan     0.1000    0.0005
##     80        0.6682             nan     0.1000    0.0003
##    100        0.6524             nan     0.1000    0.0003
##    120        0.6411             nan     0.1000    0.0001
##    140        0.6333             nan     0.1000    0.0000
##    150        0.6299             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0430             nan     0.1000    0.0259
##      2        1.0030             nan     0.1000    0.0199
##      3        0.9696             nan     0.1000    0.0169
##      4        0.9430             nan     0.1000    0.0135
##      5        0.9136             nan     0.1000    0.0147
##      6        0.8898             nan     0.1000    0.0117
##      7        0.8736             nan     0.1000    0.0078
##      8        0.8557             nan     0.1000    0.0091
##      9        0.8404             nan     0.1000    0.0077
##     10        0.8298             nan     0.1000    0.0054
##     20        0.7470             nan     0.1000    0.0028
##     40        0.6753             nan     0.1000    0.0013
##     60        0.6450             nan     0.1000    0.0003
##     80        0.6280             nan     0.1000    0.0002
##    100        0.6180             nan     0.1000    0.0001
##    120        0.6085             nan     0.1000    0.0001
##    140        0.6018             nan     0.1000    0.0000
##    150        0.5996             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0352             nan     0.1000    0.0296
##      2        0.9878             nan     0.1000    0.0240
##      3        0.9509             nan     0.1000    0.0184
##      4        0.9194             nan     0.1000    0.0158
##      5        0.8918             nan     0.1000    0.0134
##      6        0.8694             nan     0.1000    0.0109
##      7        0.8477             nan     0.1000    0.0110
##      8        0.8294             nan     0.1000    0.0091
##      9        0.8138             nan     0.1000    0.0079
##     10        0.8018             nan     0.1000    0.0057
##     20        0.7190             nan     0.1000    0.0028
##     40        0.6512             nan     0.1000    0.0012
##     60        0.6243             nan     0.1000    0.0005
##     80        0.6076             nan     0.1000    0.0004
##    100        0.5968             nan     0.1000    0.0001
##    120        0.5889             nan     0.1000    0.0001
##    140        0.5834             nan     0.1000    0.0002
##    150        0.5817             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0186
##      2        1.0282             nan     0.1000    0.0150
##      3        1.0040             nan     0.1000    0.0122
##      4        0.9841             nan     0.1000    0.0103
##      5        0.9644             nan     0.1000    0.0098
##      6        0.9474             nan     0.1000    0.0083
##      7        0.9342             nan     0.1000    0.0064
##      8        0.9184             nan     0.1000    0.0078
##      9        0.9084             nan     0.1000    0.0048
##     10        0.8962             nan     0.1000    0.0061
##     20        0.8163             nan     0.1000    0.0021
##     40        0.7363             nan     0.1000    0.0010
##     60        0.6969             nan     0.1000    0.0007
##     80        0.6712             nan     0.1000    0.0003
##    100        0.6562             nan     0.1000    0.0002
##    120        0.6452             nan     0.1000    0.0002
##    140        0.6368             nan     0.1000    0.0002
##    150        0.6339             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0438             nan     0.1000    0.0257
##      2        1.0041             nan     0.1000    0.0199
##      3        0.9707             nan     0.1000    0.0170
##      4        0.9429             nan     0.1000    0.0135
##      5        0.9144             nan     0.1000    0.0142
##      6        0.8909             nan     0.1000    0.0118
##      7        0.8714             nan     0.1000    0.0097
##      8        0.8559             nan     0.1000    0.0079
##      9        0.8424             nan     0.1000    0.0066
##     10        0.8310             nan     0.1000    0.0058
##     20        0.7501             nan     0.1000    0.0026
##     40        0.6785             nan     0.1000    0.0012
##     60        0.6480             nan     0.1000    0.0008
##     80        0.6321             nan     0.1000    0.0003
##    100        0.6207             nan     0.1000    0.0001
##    120        0.6116             nan     0.1000    0.0002
##    140        0.6055             nan     0.1000    0.0001
##    150        0.6028             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0369             nan     0.1000    0.0297
##      2        0.9907             nan     0.1000    0.0226
##      3        0.9542             nan     0.1000    0.0182
##      4        0.9221             nan     0.1000    0.0163
##      5        0.8961             nan     0.1000    0.0130
##      6        0.8735             nan     0.1000    0.0113
##      7        0.8526             nan     0.1000    0.0106
##      8        0.8377             nan     0.1000    0.0073
##      9        0.8206             nan     0.1000    0.0084
##     10        0.8074             nan     0.1000    0.0064
##     20        0.7236             nan     0.1000    0.0031
##     40        0.6547             nan     0.1000    0.0014
##     60        0.6273             nan     0.1000    0.0007
##     80        0.6112             nan     0.1000    0.0001
##    100        0.6005             nan     0.1000    0.0002
##    120        0.5920             nan     0.1000    0.0001
##    140        0.5869             nan     0.1000    0.0000
##    150        0.5849             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0586             nan     0.1000    0.0186
##      2        1.0287             nan     0.1000    0.0150
##      3        1.0041             nan     0.1000    0.0122
##      4        0.9834             nan     0.1000    0.0108
##      5        0.9636             nan     0.1000    0.0097
##      6        0.9494             nan     0.1000    0.0073
##      7        0.9331             nan     0.1000    0.0083
##      8        0.9181             nan     0.1000    0.0077
##      9        0.9080             nan     0.1000    0.0048
##     10        0.8958             nan     0.1000    0.0061
##     20        0.8157             nan     0.1000    0.0035
##     40        0.7360             nan     0.1000    0.0012
##     60        0.6960             nan     0.1000    0.0004
##     80        0.6705             nan     0.1000    0.0005
##    100        0.6541             nan     0.1000    0.0004
##    120        0.6441             nan     0.1000    0.0002
##    140        0.6366             nan     0.1000    0.0001
##    150        0.6339             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0443             nan     0.1000    0.0258
##      2        1.0042             nan     0.1000    0.0196
##      3        0.9711             nan     0.1000    0.0171
##      4        0.9450             nan     0.1000    0.0129
##      5        0.9211             nan     0.1000    0.0117
##      6        0.8969             nan     0.1000    0.0125
##      7        0.8779             nan     0.1000    0.0093
##      8        0.8594             nan     0.1000    0.0091
##      9        0.8441             nan     0.1000    0.0079
##     10        0.8328             nan     0.1000    0.0056
##     20        0.7503             nan     0.1000    0.0033
##     40        0.6779             nan     0.1000    0.0015
##     60        0.6474             nan     0.1000    0.0004
##     80        0.6305             nan     0.1000    0.0003
##    100        0.6201             nan     0.1000    0.0001
##    120        0.6111             nan     0.1000    0.0003
##    140        0.6043             nan     0.1000    0.0000
##    150        0.6017             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0369             nan     0.1000    0.0294
##      2        0.9899             nan     0.1000    0.0237
##      3        0.9518             nan     0.1000    0.0188
##      4        0.9206             nan     0.1000    0.0156
##      5        0.8949             nan     0.1000    0.0127
##      6        0.8723             nan     0.1000    0.0111
##      7        0.8503             nan     0.1000    0.0109
##      8        0.8325             nan     0.1000    0.0089
##      9        0.8171             nan     0.1000    0.0077
##     10        0.8031             nan     0.1000    0.0070
##     20        0.7235             nan     0.1000    0.0023
##     40        0.6550             nan     0.1000    0.0007
##     60        0.6273             nan     0.1000    0.0003
##     80        0.6102             nan     0.1000    0.0001
##    100        0.5990             nan     0.1000    0.0001
##    120        0.5915             nan     0.1000   -0.0000
##    140        0.5858             nan     0.1000    0.0000
##    150        0.5830             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0582             nan     0.1000    0.0187
##      2        1.0284             nan     0.1000    0.0151
##      3        1.0039             nan     0.1000    0.0123
##      4        0.9837             nan     0.1000    0.0098
##      5        0.9638             nan     0.1000    0.0098
##      6        0.9498             nan     0.1000    0.0069
##      7        0.9337             nan     0.1000    0.0083
##      8        0.9182             nan     0.1000    0.0078
##      9        0.9053             nan     0.1000    0.0065
##     10        0.8959             nan     0.1000    0.0047
##     20        0.8123             nan     0.1000    0.0033
##     40        0.7337             nan     0.1000    0.0011
##     60        0.6934             nan     0.1000    0.0005
##     80        0.6691             nan     0.1000    0.0003
##    100        0.6528             nan     0.1000    0.0004
##    120        0.6416             nan     0.1000    0.0004
##    140        0.6335             nan     0.1000    0.0001
##    150        0.6304             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0435             nan     0.1000    0.0261
##      2        1.0035             nan     0.1000    0.0197
##      3        0.9701             nan     0.1000    0.0166
##      4        0.9427             nan     0.1000    0.0136
##      5        0.9131             nan     0.1000    0.0145
##      6        0.8897             nan     0.1000    0.0117
##      7        0.8734             nan     0.1000    0.0080
##      8        0.8580             nan     0.1000    0.0076
##      9        0.8417             nan     0.1000    0.0082
##     10        0.8302             nan     0.1000    0.0055
##     20        0.7468             nan     0.1000    0.0033
##     40        0.6754             nan     0.1000    0.0011
##     60        0.6448             nan     0.1000    0.0004
##     80        0.6291             nan     0.1000    0.0001
##    100        0.6183             nan     0.1000    0.0004
##    120        0.6104             nan     0.1000    0.0001
##    140        0.6036             nan     0.1000    0.0001
##    150        0.6006             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0357             nan     0.1000    0.0296
##      2        0.9880             nan     0.1000    0.0236
##      3        0.9496             nan     0.1000    0.0187
##      4        0.9196             nan     0.1000    0.0149
##      5        0.8900             nan     0.1000    0.0145
##      6        0.8687             nan     0.1000    0.0109
##      7        0.8509             nan     0.1000    0.0087
##      8        0.8320             nan     0.1000    0.0095
##      9        0.8162             nan     0.1000    0.0077
##     10        0.8012             nan     0.1000    0.0072
##     20        0.7207             nan     0.1000    0.0023
##     40        0.6512             nan     0.1000    0.0009
##     60        0.6241             nan     0.1000    0.0004
##     80        0.6084             nan     0.1000    0.0003
##    100        0.5982             nan     0.1000    0.0000
##    120        0.5908             nan     0.1000    0.0000
##    140        0.5848             nan     0.1000    0.0000
##    150        0.5826             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0574             nan     0.1000    0.0188
##      2        1.0276             nan     0.1000    0.0151
##      3        1.0030             nan     0.1000    0.0123
##      4        0.9830             nan     0.1000    0.0103
##      5        0.9633             nan     0.1000    0.0099
##      6        0.9457             nan     0.1000    0.0086
##      7        0.9294             nan     0.1000    0.0080
##      8        0.9166             nan     0.1000    0.0067
##      9        0.9067             nan     0.1000    0.0048
##     10        0.8939             nan     0.1000    0.0063
##     20        0.8124             nan     0.1000    0.0033
##     40        0.7343             nan     0.1000    0.0009
##     60        0.6920             nan     0.1000    0.0010
##     80        0.6676             nan     0.1000    0.0005
##    100        0.6515             nan     0.1000    0.0001
##    120        0.6409             nan     0.1000    0.0001
##    140        0.6343             nan     0.1000    0.0001
##    150        0.6309             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0431             nan     0.1000    0.0264
##      2        1.0034             nan     0.1000    0.0201
##      3        0.9701             nan     0.1000    0.0165
##      4        0.9434             nan     0.1000    0.0135
##      5        0.9142             nan     0.1000    0.0145
##      6        0.8907             nan     0.1000    0.0116
##      7        0.8747             nan     0.1000    0.0080
##      8        0.8568             nan     0.1000    0.0090
##      9        0.8423             nan     0.1000    0.0071
##     10        0.8284             nan     0.1000    0.0068
##     20        0.7486             nan     0.1000    0.0029
##     40        0.6760             nan     0.1000    0.0007
##     60        0.6452             nan     0.1000    0.0006
##     80        0.6282             nan     0.1000    0.0002
##    100        0.6176             nan     0.1000    0.0002
##    120        0.6083             nan     0.1000    0.0001
##    140        0.6019             nan     0.1000    0.0002
##    150        0.5993             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0361             nan     0.1000    0.0300
##      2        0.9890             nan     0.1000    0.0234
##      3        0.9509             nan     0.1000    0.0192
##      4        0.9192             nan     0.1000    0.0156
##      5        0.8924             nan     0.1000    0.0134
##      6        0.8673             nan     0.1000    0.0124
##      7        0.8462             nan     0.1000    0.0105
##      8        0.8284             nan     0.1000    0.0087
##      9        0.8158             nan     0.1000    0.0062
##     10        0.8015             nan     0.1000    0.0071
##     20        0.7204             nan     0.1000    0.0023
##     40        0.6528             nan     0.1000    0.0014
##     60        0.6258             nan     0.1000    0.0006
##     80        0.6083             nan     0.1000    0.0004
##    100        0.5978             nan     0.1000    0.0001
##    120        0.5906             nan     0.1000    0.0000
##    140        0.5846             nan     0.1000    0.0001
##    150        0.5824             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0572             nan     0.1000    0.0186
##      2        1.0275             nan     0.1000    0.0150
##      3        1.0031             nan     0.1000    0.0122
##      4        0.9827             nan     0.1000    0.0104
##      5        0.9629             nan     0.1000    0.0098
##      6        0.9463             nan     0.1000    0.0083
##      7        0.9334             nan     0.1000    0.0066
##      8        0.9176             nan     0.1000    0.0078
##      9        0.9049             nan     0.1000    0.0064
##     10        0.8952             nan     0.1000    0.0048
##     20        0.8142             nan     0.1000    0.0023
##     40        0.7339             nan     0.1000    0.0011
##     60        0.6939             nan     0.1000    0.0008
##     80        0.6688             nan     0.1000    0.0004
##    100        0.6532             nan     0.1000    0.0003
##    120        0.6423             nan     0.1000    0.0002
##    140        0.6339             nan     0.1000    0.0002
##    150        0.6307             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0438             nan     0.1000    0.0260
##      2        1.0035             nan     0.1000    0.0200
##      3        0.9718             nan     0.1000    0.0158
##      4        0.9361             nan     0.1000    0.0179
##      5        0.9138             nan     0.1000    0.0108
##      6        0.8888             nan     0.1000    0.0124
##      7        0.8687             nan     0.1000    0.0102
##      8        0.8533             nan     0.1000    0.0080
##      9        0.8379             nan     0.1000    0.0076
##     10        0.8271             nan     0.1000    0.0053
##     20        0.7450             nan     0.1000    0.0027
##     40        0.6754             nan     0.1000    0.0012
##     60        0.6454             nan     0.1000    0.0006
##     80        0.6296             nan     0.1000    0.0004
##    100        0.6184             nan     0.1000    0.0003
##    120        0.6104             nan     0.1000    0.0002
##    140        0.6037             nan     0.1000    0.0001
##    150        0.6008             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0355             nan     0.1000    0.0296
##      2        0.9891             nan     0.1000    0.0231
##      3        0.9519             nan     0.1000    0.0185
##      4        0.9195             nan     0.1000    0.0161
##      5        0.8945             nan     0.1000    0.0125
##      6        0.8685             nan     0.1000    0.0128
##      7        0.8497             nan     0.1000    0.0092
##      8        0.8311             nan     0.1000    0.0094
##      9        0.8154             nan     0.1000    0.0077
##     10        0.8038             nan     0.1000    0.0054
##     20        0.7178             nan     0.1000    0.0025
##     40        0.6533             nan     0.1000    0.0009
##     60        0.6251             nan     0.1000    0.0004
##     80        0.6081             nan     0.1000    0.0002
##    100        0.5981             nan     0.1000    0.0002
##    120        0.5905             nan     0.1000    0.0000
##    140        0.5843             nan     0.1000    0.0001
##    150        0.5818             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0584             nan     0.1000    0.0185
##      2        1.0287             nan     0.1000    0.0149
##      3        1.0044             nan     0.1000    0.0121
##      4        0.9847             nan     0.1000    0.0101
##      5        0.9648             nan     0.1000    0.0097
##      6        0.9511             nan     0.1000    0.0064
##      7        0.9345             nan     0.1000    0.0084
##      8        0.9190             nan     0.1000    0.0077
##      9        0.9057             nan     0.1000    0.0064
##     10        0.8960             nan     0.1000    0.0048
##     20        0.8141             nan     0.1000    0.0033
##     40        0.7376             nan     0.1000    0.0008
##     60        0.6960             nan     0.1000    0.0005
##     80        0.6717             nan     0.1000    0.0006
##    100        0.6565             nan     0.1000    0.0002
##    120        0.6454             nan     0.1000    0.0003
##    140        0.6382             nan     0.1000    0.0001
##    150        0.6344             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0437             nan     0.1000    0.0259
##      2        1.0052             nan     0.1000    0.0195
##      3        0.9719             nan     0.1000    0.0162
##      4        0.9444             nan     0.1000    0.0137
##      5        0.9153             nan     0.1000    0.0148
##      6        0.8919             nan     0.1000    0.0117
##      7        0.8742             nan     0.1000    0.0086
##      8        0.8592             nan     0.1000    0.0074
##      9        0.8433             nan     0.1000    0.0078
##     10        0.8323             nan     0.1000    0.0056
##     20        0.7503             nan     0.1000    0.0025
##     40        0.6799             nan     0.1000    0.0008
##     60        0.6488             nan     0.1000    0.0005
##     80        0.6319             nan     0.1000    0.0001
##    100        0.6208             nan     0.1000    0.0001
##    120        0.6118             nan     0.1000    0.0003
##    140        0.6059             nan     0.1000   -0.0000
##    150        0.6034             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0363             nan     0.1000    0.0298
##      2        0.9897             nan     0.1000    0.0234
##      3        0.9530             nan     0.1000    0.0186
##      4        0.9199             nan     0.1000    0.0161
##      5        0.8952             nan     0.1000    0.0124
##      6        0.8720             nan     0.1000    0.0115
##      7        0.8501             nan     0.1000    0.0109
##      8        0.8322             nan     0.1000    0.0088
##      9        0.8164             nan     0.1000    0.0078
##     10        0.8029             nan     0.1000    0.0068
##     20        0.7224             nan     0.1000    0.0029
##     40        0.6556             nan     0.1000    0.0007
##     60        0.6280             nan     0.1000    0.0004
##     80        0.6121             nan     0.1000    0.0001
##    100        0.6018             nan     0.1000    0.0000
##    120        0.5931             nan     0.1000    0.0001
##    140        0.5879             nan     0.1000   -0.0000
##    150        0.5861             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0184
##      2        1.0284             nan     0.1000    0.0148
##      3        1.0044             nan     0.1000    0.0120
##      4        0.9838             nan     0.1000    0.0106
##      5        0.9656             nan     0.1000    0.0087
##      6        0.9468             nan     0.1000    0.0095
##      7        0.9310             nan     0.1000    0.0078
##      8        0.9179             nan     0.1000    0.0065
##      9        0.9050             nan     0.1000    0.0063
##     10        0.8952             nan     0.1000    0.0046
##     20        0.8144             nan     0.1000    0.0025
##     40        0.7359             nan     0.1000    0.0012
##     60        0.6947             nan     0.1000    0.0009
##     80        0.6708             nan     0.1000    0.0005
##    100        0.6542             nan     0.1000    0.0004
##    120        0.6449             nan     0.1000    0.0001
##    140        0.6372             nan     0.1000    0.0001
##    150        0.6328             nan     0.1000    0.0003
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0259
##      2        1.0040             nan     0.1000    0.0198
##      3        0.9711             nan     0.1000    0.0163
##      4        0.9384             nan     0.1000    0.0164
##      5        0.9154             nan     0.1000    0.0117
##      6        0.8918             nan     0.1000    0.0117
##      7        0.8724             nan     0.1000    0.0095
##      8        0.8574             nan     0.1000    0.0074
##      9        0.8454             nan     0.1000    0.0060
##     10        0.8326             nan     0.1000    0.0064
##     20        0.7499             nan     0.1000    0.0028
##     40        0.6778             nan     0.1000    0.0010
##     60        0.6477             nan     0.1000    0.0005
##     80        0.6313             nan     0.1000    0.0002
##    100        0.6204             nan     0.1000    0.0003
##    120        0.6120             nan     0.1000   -0.0000
##    140        0.6050             nan     0.1000    0.0000
##    150        0.6022             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0363             nan     0.1000    0.0297
##      2        0.9889             nan     0.1000    0.0239
##      3        0.9512             nan     0.1000    0.0189
##      4        0.9196             nan     0.1000    0.0158
##      5        0.8946             nan     0.1000    0.0127
##      6        0.8696             nan     0.1000    0.0124
##      7        0.8480             nan     0.1000    0.0107
##      8        0.8316             nan     0.1000    0.0080
##      9        0.8158             nan     0.1000    0.0077
##     10        0.8043             nan     0.1000    0.0059
##     20        0.7193             nan     0.1000    0.0025
##     40        0.6533             nan     0.1000    0.0010
##     60        0.6241             nan     0.1000    0.0003
##     80        0.6096             nan     0.1000    0.0000
##    100        0.5982             nan     0.1000    0.0000
##    120        0.5914             nan     0.1000    0.0002
##    140        0.5852             nan     0.1000    0.0000
##    150        0.5826             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0583             nan     0.1000    0.0188
##      2        1.0281             nan     0.1000    0.0151
##      3        1.0037             nan     0.1000    0.0123
##      4        0.9834             nan     0.1000    0.0106
##      5        0.9636             nan     0.1000    0.0098
##      6        0.9467             nan     0.1000    0.0084
##      7        0.9308             nan     0.1000    0.0080
##      8        0.9182             nan     0.1000    0.0065
##      9        0.9084             nan     0.1000    0.0049
##     10        0.8955             nan     0.1000    0.0061
##     20        0.8138             nan     0.1000    0.0033
##     40        0.7363             nan     0.1000    0.0014
##     60        0.6956             nan     0.1000    0.0006
##     80        0.6707             nan     0.1000    0.0006
##    100        0.6552             nan     0.1000    0.0001
##    120        0.6443             nan     0.1000    0.0001
##    140        0.6358             nan     0.1000    0.0003
##    150        0.6327             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0440             nan     0.1000    0.0258
##      2        1.0039             nan     0.1000    0.0197
##      3        0.9708             nan     0.1000    0.0165
##      4        0.9436             nan     0.1000    0.0137
##      5        0.9146             nan     0.1000    0.0150
##      6        0.8911             nan     0.1000    0.0116
##      7        0.8738             nan     0.1000    0.0088
##      8        0.8578             nan     0.1000    0.0076
##      9        0.8431             nan     0.1000    0.0074
##     10        0.8311             nan     0.1000    0.0061
##     20        0.7490             nan     0.1000    0.0028
##     40        0.6753             nan     0.1000    0.0010
##     60        0.6460             nan     0.1000    0.0006
##     80        0.6300             nan     0.1000    0.0005
##    100        0.6200             nan     0.1000    0.0002
##    120        0.6123             nan     0.1000    0.0001
##    140        0.6060             nan     0.1000    0.0000
##    150        0.6040             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0358             nan     0.1000    0.0296
##      2        0.9896             nan     0.1000    0.0231
##      3        0.9522             nan     0.1000    0.0185
##      4        0.9201             nan     0.1000    0.0156
##      5        0.8948             nan     0.1000    0.0122
##      6        0.8719             nan     0.1000    0.0114
##      7        0.8495             nan     0.1000    0.0110
##      8        0.8342             nan     0.1000    0.0076
##      9        0.8186             nan     0.1000    0.0077
##     10        0.8040             nan     0.1000    0.0072
##     20        0.7215             nan     0.1000    0.0028
##     40        0.6528             nan     0.1000    0.0010
##     60        0.6264             nan     0.1000    0.0005
##     80        0.6113             nan     0.1000    0.0002
##    100        0.6006             nan     0.1000    0.0000
##    120        0.5931             nan     0.1000    0.0001
##    140        0.5875             nan     0.1000    0.0001
##    150        0.5847             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0188
##      2        1.0279             nan     0.1000    0.0151
##      3        1.0034             nan     0.1000    0.0123
##      4        0.9833             nan     0.1000    0.0100
##      5        0.9639             nan     0.1000    0.0099
##      6        0.9502             nan     0.1000    0.0066
##      7        0.9342             nan     0.1000    0.0081
##      8        0.9181             nan     0.1000    0.0079
##      9        0.9079             nan     0.1000    0.0050
##     10        0.8957             nan     0.1000    0.0061
##     20        0.8142             nan     0.1000    0.0035
##     40        0.7354             nan     0.1000    0.0015
##     60        0.6951             nan     0.1000    0.0007
##     80        0.6706             nan     0.1000    0.0006
##    100        0.6558             nan     0.1000    0.0001
##    120        0.6449             nan     0.1000    0.0002
##    140        0.6370             nan     0.1000    0.0001
##    150        0.6332             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0432             nan     0.1000    0.0262
##      2        1.0034             nan     0.1000    0.0203
##      3        0.9696             nan     0.1000    0.0167
##      4        0.9425             nan     0.1000    0.0135
##      5        0.9129             nan     0.1000    0.0146
##      6        0.8895             nan     0.1000    0.0119
##      7        0.8698             nan     0.1000    0.0097
##      8        0.8554             nan     0.1000    0.0072
##      9        0.8420             nan     0.1000    0.0066
##     10        0.8305             nan     0.1000    0.0054
##     20        0.7470             nan     0.1000    0.0033
##     40        0.6784             nan     0.1000    0.0008
##     60        0.6480             nan     0.1000    0.0006
##     80        0.6325             nan     0.1000    0.0003
##    100        0.6210             nan     0.1000    0.0001
##    120        0.6125             nan     0.1000    0.0001
##    140        0.6050             nan     0.1000    0.0001
##    150        0.6024             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0364             nan     0.1000    0.0295
##      2        0.9885             nan     0.1000    0.0235
##      3        0.9515             nan     0.1000    0.0184
##      4        0.9198             nan     0.1000    0.0156
##      5        0.8932             nan     0.1000    0.0133
##      6        0.8708             nan     0.1000    0.0109
##      7        0.8487             nan     0.1000    0.0110
##      8        0.8309             nan     0.1000    0.0089
##      9        0.8148             nan     0.1000    0.0077
##     10        0.8006             nan     0.1000    0.0070
##     20        0.7194             nan     0.1000    0.0029
##     40        0.6530             nan     0.1000    0.0008
##     60        0.6261             nan     0.1000    0.0003
##     80        0.6102             nan     0.1000    0.0002
##    100        0.5983             nan     0.1000    0.0001
##    120        0.5909             nan     0.1000    0.0002
##    140        0.5858             nan     0.1000    0.0001
##    150        0.5838             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0587             nan     0.1000    0.0184
##      2        1.0290             nan     0.1000    0.0149
##      3        1.0071             nan     0.1000    0.0107
##      4        0.9834             nan     0.1000    0.0118
##      5        0.9639             nan     0.1000    0.0097
##      6        0.9462             nan     0.1000    0.0085
##      7        0.9330             nan     0.1000    0.0063
##      8        0.9175             nan     0.1000    0.0077
##      9        0.9048             nan     0.1000    0.0064
##     10        0.8952             nan     0.1000    0.0047
##     20        0.8129             nan     0.1000    0.0032
##     40        0.7380             nan     0.1000    0.0011
##     60        0.6947             nan     0.1000    0.0007
##     80        0.6707             nan     0.1000    0.0003
##    100        0.6557             nan     0.1000    0.0002
##    120        0.6441             nan     0.1000    0.0001
##    140        0.6367             nan     0.1000    0.0001
##    150        0.6336             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0255
##      2        1.0047             nan     0.1000    0.0197
##      3        0.9717             nan     0.1000    0.0163
##      4        0.9457             nan     0.1000    0.0132
##      5        0.9168             nan     0.1000    0.0148
##      6        0.8932             nan     0.1000    0.0115
##      7        0.8741             nan     0.1000    0.0097
##      8        0.8597             nan     0.1000    0.0073
##      9        0.8445             nan     0.1000    0.0075
##     10        0.8336             nan     0.1000    0.0055
##     20        0.7530             nan     0.1000    0.0025
##     40        0.6792             nan     0.1000    0.0011
##     60        0.6486             nan     0.1000    0.0003
##     80        0.6326             nan     0.1000    0.0003
##    100        0.6219             nan     0.1000    0.0001
##    120        0.6130             nan     0.1000    0.0003
##    140        0.6068             nan     0.1000    0.0000
##    150        0.6042             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0365             nan     0.1000    0.0289
##      2        0.9893             nan     0.1000    0.0234
##      3        0.9526             nan     0.1000    0.0182
##      4        0.9207             nan     0.1000    0.0157
##      5        0.8957             nan     0.1000    0.0125
##      6        0.8730             nan     0.1000    0.0115
##      7        0.8517             nan     0.1000    0.0106
##      8        0.8335             nan     0.1000    0.0091
##      9        0.8206             nan     0.1000    0.0062
##     10        0.8062             nan     0.1000    0.0073
##     20        0.7205             nan     0.1000    0.0031
##     40        0.6538             nan     0.1000    0.0010
##     60        0.6262             nan     0.1000    0.0004
##     80        0.6103             nan     0.1000    0.0002
##    100        0.6012             nan     0.1000    0.0002
##    120        0.5944             nan     0.1000    0.0000
##    140        0.5887             nan     0.1000   -0.0001
##    150        0.5867             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0586             nan     0.1000    0.0186
##      2        1.0285             nan     0.1000    0.0149
##      3        1.0042             nan     0.1000    0.0122
##      4        0.9841             nan     0.1000    0.0103
##      5        0.9649             nan     0.1000    0.0097
##      6        0.9481             nan     0.1000    0.0085
##      7        0.9350             nan     0.1000    0.0066
##      8        0.9197             nan     0.1000    0.0078
##      9        0.9096             nan     0.1000    0.0051
##     10        0.8968             nan     0.1000    0.0062
##     20        0.8160             nan     0.1000    0.0022
##     40        0.7366             nan     0.1000    0.0017
##     60        0.6954             nan     0.1000    0.0005
##     80        0.6704             nan     0.1000    0.0004
##    100        0.6561             nan     0.1000    0.0001
##    120        0.6443             nan     0.1000    0.0001
##    140        0.6369             nan     0.1000    0.0002
##    150        0.6338             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0431             nan     0.1000    0.0261
##      2        1.0040             nan     0.1000    0.0196
##      3        0.9708             nan     0.1000    0.0167
##      4        0.9383             nan     0.1000    0.0162
##      5        0.9146             nan     0.1000    0.0118
##      6        0.8912             nan     0.1000    0.0117
##      7        0.8716             nan     0.1000    0.0094
##      8        0.8574             nan     0.1000    0.0072
##      9        0.8456             nan     0.1000    0.0060
##     10        0.8325             nan     0.1000    0.0064
##     20        0.7490             nan     0.1000    0.0029
##     40        0.6783             nan     0.1000    0.0010
##     60        0.6478             nan     0.1000    0.0003
##     80        0.6314             nan     0.1000    0.0002
##    100        0.6203             nan     0.1000    0.0001
##    120        0.6121             nan     0.1000    0.0002
##    140        0.6067             nan     0.1000    0.0000
##    150        0.6043             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0372             nan     0.1000    0.0296
##      2        0.9901             nan     0.1000    0.0232
##      3        0.9525             nan     0.1000    0.0187
##      4        0.9203             nan     0.1000    0.0162
##      5        0.8944             nan     0.1000    0.0131
##      6        0.8728             nan     0.1000    0.0106
##      7        0.8516             nan     0.1000    0.0105
##      8        0.8329             nan     0.1000    0.0096
##      9        0.8171             nan     0.1000    0.0078
##     10        0.8041             nan     0.1000    0.0064
##     20        0.7197             nan     0.1000    0.0027
##     40        0.6545             nan     0.1000    0.0011
##     60        0.6279             nan     0.1000    0.0005
##     80        0.6134             nan     0.1000    0.0002
##    100        0.6028             nan     0.1000    0.0001
##    120        0.5956             nan     0.1000    0.0000
##    140        0.5900             nan     0.1000   -0.0000
##    150        0.5880             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0583             nan     0.1000    0.0187
##      2        1.0283             nan     0.1000    0.0151
##      3        1.0040             nan     0.1000    0.0123
##      4        0.9833             nan     0.1000    0.0104
##      5        0.9633             nan     0.1000    0.0098
##      6        0.9459             nan     0.1000    0.0086
##      7        0.9326             nan     0.1000    0.0067
##      8        0.9173             nan     0.1000    0.0078
##      9        0.9070             nan     0.1000    0.0051
##     10        0.8947             nan     0.1000    0.0062
##     20        0.8133             nan     0.1000    0.0035
##     40        0.7342             nan     0.1000    0.0016
##     60        0.6933             nan     0.1000    0.0010
##     80        0.6695             nan     0.1000    0.0004
##    100        0.6545             nan     0.1000    0.0001
##    120        0.6437             nan     0.1000    0.0002
##    140        0.6354             nan     0.1000    0.0002
##    150        0.6325             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0439             nan     0.1000    0.0262
##      2        1.0042             nan     0.1000    0.0202
##      3        0.9703             nan     0.1000    0.0168
##      4        0.9436             nan     0.1000    0.0133
##      5        0.9142             nan     0.1000    0.0147
##      6        0.8908             nan     0.1000    0.0118
##      7        0.8712             nan     0.1000    0.0098
##      8        0.8553             nan     0.1000    0.0079
##      9        0.8414             nan     0.1000    0.0070
##     10        0.8302             nan     0.1000    0.0056
##     20        0.7469             nan     0.1000    0.0028
##     40        0.6757             nan     0.1000    0.0012
##     60        0.6457             nan     0.1000    0.0003
##     80        0.6302             nan     0.1000    0.0001
##    100        0.6188             nan     0.1000    0.0001
##    120        0.6108             nan     0.1000    0.0000
##    140        0.6046             nan     0.1000    0.0001
##    150        0.6019             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0364             nan     0.1000    0.0298
##      2        0.9891             nan     0.1000    0.0235
##      3        0.9524             nan     0.1000    0.0184
##      4        0.9210             nan     0.1000    0.0158
##      5        0.8941             nan     0.1000    0.0135
##      6        0.8717             nan     0.1000    0.0111
##      7        0.8505             nan     0.1000    0.0109
##      8        0.8316             nan     0.1000    0.0094
##      9        0.8149             nan     0.1000    0.0082
##     10        0.8036             nan     0.1000    0.0052
##     20        0.7208             nan     0.1000    0.0029
##     40        0.6531             nan     0.1000    0.0008
##     60        0.6252             nan     0.1000    0.0003
##     80        0.6084             nan     0.1000    0.0002
##    100        0.5987             nan     0.1000    0.0000
##    120        0.5916             nan     0.1000    0.0001
##    140        0.5872             nan     0.1000    0.0001
##    150        0.5848             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0185
##      2        1.0288             nan     0.1000    0.0150
##      3        1.0042             nan     0.1000    0.0122
##      4        0.9838             nan     0.1000    0.0099
##      5        0.9646             nan     0.1000    0.0090
##      6        0.9503             nan     0.1000    0.0072
##      7        0.9337             nan     0.1000    0.0083
##      8        0.9201             nan     0.1000    0.0064
##      9        0.9048             nan     0.1000    0.0076
##     10        0.8919             nan     0.1000    0.0063
##     20        0.8142             nan     0.1000    0.0034
##     40        0.7351             nan     0.1000    0.0013
##     60        0.6948             nan     0.1000    0.0010
##     80        0.6708             nan     0.1000    0.0005
##    100        0.6549             nan     0.1000    0.0005
##    120        0.6443             nan     0.1000    0.0001
##    140        0.6368             nan     0.1000   -0.0000
##    150        0.6338             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0435             nan     0.1000    0.0258
##      2        1.0041             nan     0.1000    0.0195
##      3        0.9712             nan     0.1000    0.0165
##      4        0.9433             nan     0.1000    0.0135
##      5        0.9149             nan     0.1000    0.0143
##      6        0.8914             nan     0.1000    0.0119
##      7        0.8750             nan     0.1000    0.0080
##      8        0.8604             nan     0.1000    0.0073
##      9        0.8438             nan     0.1000    0.0083
##     10        0.8322             nan     0.1000    0.0056
##     20        0.7523             nan     0.1000    0.0026
##     40        0.6788             nan     0.1000    0.0008
##     60        0.6494             nan     0.1000    0.0004
##     80        0.6336             nan     0.1000    0.0003
##    100        0.6214             nan     0.1000    0.0004
##    120        0.6137             nan     0.1000    0.0000
##    140        0.6064             nan     0.1000    0.0000
##    150        0.6035             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0356             nan     0.1000    0.0296
##      2        0.9893             nan     0.1000    0.0231
##      3        0.9518             nan     0.1000    0.0188
##      4        0.9205             nan     0.1000    0.0155
##      5        0.8952             nan     0.1000    0.0124
##      6        0.8726             nan     0.1000    0.0108
##      7        0.8540             nan     0.1000    0.0094
##      8        0.8349             nan     0.1000    0.0092
##      9        0.8208             nan     0.1000    0.0066
##     10        0.8069             nan     0.1000    0.0067
##     20        0.7217             nan     0.1000    0.0029
##     40        0.6548             nan     0.1000    0.0009
##     60        0.6284             nan     0.1000    0.0002
##     80        0.6129             nan     0.1000    0.0001
##    100        0.6023             nan     0.1000    0.0001
##    120        0.5958             nan     0.1000    0.0002
##    140        0.5887             nan     0.1000    0.0003
##    150        0.5852             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0584             nan     0.1000    0.0187
##      2        1.0284             nan     0.1000    0.0151
##      3        1.0035             nan     0.1000    0.0123
##      4        0.9832             nan     0.1000    0.0105
##      5        0.9638             nan     0.1000    0.0098
##      6        0.9502             nan     0.1000    0.0068
##      7        0.9341             nan     0.1000    0.0082
##      8        0.9179             nan     0.1000    0.0078
##      9        0.9052             nan     0.1000    0.0063
##     10        0.8923             nan     0.1000    0.0063
##     20        0.8140             nan     0.1000    0.0023
##     40        0.7343             nan     0.1000    0.0012
##     60        0.6939             nan     0.1000    0.0009
##     80        0.6692             nan     0.1000    0.0004
##    100        0.6531             nan     0.1000    0.0003
##    120        0.6429             nan     0.1000    0.0001
##    140        0.6348             nan     0.1000    0.0003
##    150        0.6316             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0432             nan     0.1000    0.0258
##      2        1.0032             nan     0.1000    0.0197
##      3        0.9699             nan     0.1000    0.0169
##      4        0.9440             nan     0.1000    0.0131
##      5        0.9154             nan     0.1000    0.0147
##      6        0.8919             nan     0.1000    0.0119
##      7        0.8722             nan     0.1000    0.0100
##      8        0.8572             nan     0.1000    0.0078
##      9        0.8430             nan     0.1000    0.0071
##     10        0.8322             nan     0.1000    0.0054
##     20        0.7492             nan     0.1000    0.0026
##     40        0.6761             nan     0.1000    0.0014
##     60        0.6455             nan     0.1000    0.0005
##     80        0.6299             nan     0.1000    0.0001
##    100        0.6185             nan     0.1000    0.0001
##    120        0.6101             nan     0.1000    0.0001
##    140        0.6028             nan     0.1000    0.0000
##    150        0.6004             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0361             nan     0.1000    0.0297
##      2        0.9902             nan     0.1000    0.0233
##      3        0.9533             nan     0.1000    0.0183
##      4        0.9218             nan     0.1000    0.0157
##      5        0.8920             nan     0.1000    0.0151
##      6        0.8693             nan     0.1000    0.0112
##      7        0.8481             nan     0.1000    0.0103
##      8        0.8319             nan     0.1000    0.0078
##      9        0.8160             nan     0.1000    0.0078
##     10        0.8013             nan     0.1000    0.0074
##     20        0.7187             nan     0.1000    0.0030
##     40        0.6517             nan     0.1000    0.0006
##     60        0.6255             nan     0.1000    0.0005
##     80        0.6093             nan     0.1000    0.0001
##    100        0.6001             nan     0.1000    0.0001
##    120        0.5919             nan     0.1000    0.0000
##    140        0.5856             nan     0.1000    0.0000
##    150        0.5832             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0575             nan     0.1000    0.0186
##      2        1.0270             nan     0.1000    0.0150
##      3        1.0028             nan     0.1000    0.0122
##      4        0.9829             nan     0.1000    0.0097
##      5        0.9679             nan     0.1000    0.0070
##      6        0.9490             nan     0.1000    0.0096
##      7        0.9323             nan     0.1000    0.0081
##      8        0.9165             nan     0.1000    0.0078
##      9        0.9041             nan     0.1000    0.0061
##     10        0.8943             nan     0.1000    0.0048
##     20        0.8141             nan     0.1000    0.0023
##     40        0.7365             nan     0.1000    0.0016
##     60        0.6952             nan     0.1000    0.0008
##     80        0.6709             nan     0.1000    0.0003
##    100        0.6553             nan     0.1000    0.0003
##    120        0.6452             nan     0.1000    0.0001
##    140        0.6352             nan     0.1000    0.0001
##    150        0.6323             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0431             nan     0.1000    0.0259
##      2        1.0037             nan     0.1000    0.0196
##      3        0.9702             nan     0.1000    0.0169
##      4        0.9436             nan     0.1000    0.0134
##      5        0.9144             nan     0.1000    0.0146
##      6        0.8907             nan     0.1000    0.0116
##      7        0.8730             nan     0.1000    0.0086
##      8        0.8569             nan     0.1000    0.0080
##      9        0.8412             nan     0.1000    0.0081
##     10        0.8293             nan     0.1000    0.0060
##     20        0.7480             nan     0.1000    0.0029
##     40        0.6783             nan     0.1000    0.0010
##     60        0.6468             nan     0.1000    0.0004
##     80        0.6308             nan     0.1000    0.0004
##    100        0.6199             nan     0.1000    0.0002
##    120        0.6122             nan     0.1000    0.0000
##    140        0.6050             nan     0.1000    0.0001
##    150        0.6021             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0348             nan     0.1000    0.0297
##      2        0.9884             nan     0.1000    0.0235
##      3        0.9515             nan     0.1000    0.0187
##      4        0.9189             nan     0.1000    0.0163
##      5        0.8931             nan     0.1000    0.0126
##      6        0.8707             nan     0.1000    0.0110
##      7        0.8521             nan     0.1000    0.0095
##      8        0.8333             nan     0.1000    0.0094
##      9        0.8203             nan     0.1000    0.0064
##     10        0.8069             nan     0.1000    0.0066
##     20        0.7256             nan     0.1000    0.0024
##     40        0.6563             nan     0.1000    0.0010
##     60        0.6292             nan     0.1000    0.0005
##     80        0.6112             nan     0.1000    0.0001
##    100        0.6005             nan     0.1000   -0.0000
##    120        0.5940             nan     0.1000    0.0000
##    140        0.5870             nan     0.1000    0.0002
##    150        0.5850             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0187
##      2        1.0281             nan     0.1000    0.0151
##      3        1.0032             nan     0.1000    0.0123
##      4        0.9827             nan     0.1000    0.0105
##      5        0.9627             nan     0.1000    0.0098
##      6        0.9492             nan     0.1000    0.0061
##      7        0.9331             nan     0.1000    0.0079
##      8        0.9163             nan     0.1000    0.0081
##      9        0.9063             nan     0.1000    0.0045
##     10        0.8935             nan     0.1000    0.0062
##     20        0.8112             nan     0.1000    0.0034
##     40        0.7354             nan     0.1000    0.0012
##     60        0.6934             nan     0.1000    0.0008
##     80        0.6688             nan     0.1000    0.0002
##    100        0.6536             nan     0.1000    0.0004
##    120        0.6416             nan     0.1000    0.0002
##    140        0.6344             nan     0.1000    0.0002
##    150        0.6312             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0443             nan     0.1000    0.0260
##      2        1.0051             nan     0.1000    0.0198
##      3        0.9720             nan     0.1000    0.0166
##      4        0.9446             nan     0.1000    0.0138
##      5        0.9156             nan     0.1000    0.0147
##      6        0.8923             nan     0.1000    0.0119
##      7        0.8747             nan     0.1000    0.0086
##      8        0.8582             nan     0.1000    0.0080
##      9        0.8423             nan     0.1000    0.0081
##     10        0.8308             nan     0.1000    0.0056
##     20        0.7479             nan     0.1000    0.0034
##     40        0.6775             nan     0.1000    0.0009
##     60        0.6456             nan     0.1000    0.0004
##     80        0.6290             nan     0.1000    0.0002
##    100        0.6187             nan     0.1000    0.0002
##    120        0.6097             nan     0.1000    0.0001
##    140        0.6034             nan     0.1000    0.0001
##    150        0.6013             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0371             nan     0.1000    0.0296
##      2        0.9897             nan     0.1000    0.0239
##      3        0.9524             nan     0.1000    0.0189
##      4        0.9203             nan     0.1000    0.0163
##      5        0.8956             nan     0.1000    0.0122
##      6        0.8703             nan     0.1000    0.0127
##      7        0.8486             nan     0.1000    0.0107
##      8        0.8330             nan     0.1000    0.0077
##      9        0.8169             nan     0.1000    0.0078
##     10        0.8058             nan     0.1000    0.0053
##     20        0.7204             nan     0.1000    0.0025
##     40        0.6523             nan     0.1000    0.0011
##     60        0.6250             nan     0.1000    0.0006
##     80        0.6098             nan     0.1000    0.0002
##    100        0.5997             nan     0.1000    0.0001
##    120        0.5913             nan     0.1000    0.0000
##    140        0.5854             nan     0.1000    0.0001
##    150        0.5832             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0187
##      2        1.0271             nan     0.1000    0.0151
##      3        1.0026             nan     0.1000    0.0122
##      4        0.9822             nan     0.1000    0.0097
##      5        0.9626             nan     0.1000    0.0098
##      6        0.9452             nan     0.1000    0.0086
##      7        0.9320             nan     0.1000    0.0064
##      8        0.9166             nan     0.1000    0.0078
##      9        0.9039             nan     0.1000    0.0064
##     10        0.8943             nan     0.1000    0.0048
##     20        0.8134             nan     0.1000    0.0024
##     40        0.7339             nan     0.1000    0.0020
##     60        0.6935             nan     0.1000    0.0007
##     80        0.6676             nan     0.1000    0.0007
##    100        0.6526             nan     0.1000    0.0004
##    120        0.6420             nan     0.1000    0.0001
##    140        0.6354             nan     0.1000    0.0001
##    150        0.6320             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0434             nan     0.1000    0.0262
##      2        1.0038             nan     0.1000    0.0200
##      3        0.9699             nan     0.1000    0.0164
##      4        0.9434             nan     0.1000    0.0134
##      5        0.9139             nan     0.1000    0.0148
##      6        0.8900             nan     0.1000    0.0121
##      7        0.8704             nan     0.1000    0.0100
##      8        0.8561             nan     0.1000    0.0071
##      9        0.8410             nan     0.1000    0.0075
##     10        0.8299             nan     0.1000    0.0053
##     20        0.7477             nan     0.1000    0.0032
##     40        0.6767             nan     0.1000    0.0009
##     60        0.6464             nan     0.1000    0.0005
##     80        0.6295             nan     0.1000    0.0004
##    100        0.6189             nan     0.1000    0.0002
##    120        0.6102             nan     0.1000    0.0003
##    140        0.6042             nan     0.1000   -0.0000
##    150        0.6012             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0362             nan     0.1000    0.0296
##      2        0.9896             nan     0.1000    0.0235
##      3        0.9520             nan     0.1000    0.0188
##      4        0.9194             nan     0.1000    0.0160
##      5        0.8934             nan     0.1000    0.0130
##      6        0.8711             nan     0.1000    0.0111
##      7        0.8493             nan     0.1000    0.0110
##      8        0.8334             nan     0.1000    0.0078
##      9        0.8181             nan     0.1000    0.0076
##     10        0.8057             nan     0.1000    0.0061
##     20        0.7192             nan     0.1000    0.0026
##     40        0.6519             nan     0.1000    0.0007
##     60        0.6249             nan     0.1000    0.0005
##     80        0.6101             nan     0.1000    0.0003
##    100        0.6003             nan     0.1000    0.0001
##    120        0.5919             nan     0.1000    0.0000
##    140        0.5869             nan     0.1000   -0.0000
##    150        0.5839             nan     0.1000    0.0003
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0578             nan     0.1000    0.0188
##      2        1.0275             nan     0.1000    0.0151
##      3        1.0035             nan     0.1000    0.0123
##      4        0.9831             nan     0.1000    0.0100
##      5        0.9632             nan     0.1000    0.0099
##      6        0.9460             nan     0.1000    0.0087
##      7        0.9328             nan     0.1000    0.0062
##      8        0.9171             nan     0.1000    0.0078
##      9        0.9044             nan     0.1000    0.0064
##     10        0.8946             nan     0.1000    0.0049
##     20        0.8158             nan     0.1000    0.0025
##     40        0.7345             nan     0.1000    0.0016
##     60        0.6924             nan     0.1000    0.0010
##     80        0.6671             nan     0.1000    0.0004
##    100        0.6524             nan     0.1000    0.0001
##    120        0.6415             nan     0.1000    0.0003
##    140        0.6331             nan     0.1000    0.0001
##    150        0.6305             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0428             nan     0.1000    0.0260
##      2        1.0028             nan     0.1000    0.0197
##      3        0.9699             nan     0.1000    0.0163
##      4        0.9428             nan     0.1000    0.0139
##      5        0.9138             nan     0.1000    0.0146
##      6        0.8900             nan     0.1000    0.0118
##      7        0.8702             nan     0.1000    0.0096
##      8        0.8553             nan     0.1000    0.0076
##      9        0.8434             nan     0.1000    0.0060
##     10        0.8304             nan     0.1000    0.0065
##     20        0.7491             nan     0.1000    0.0028
##     40        0.6737             nan     0.1000    0.0012
##     60        0.6443             nan     0.1000    0.0002
##     80        0.6278             nan     0.1000    0.0000
##    100        0.6170             nan     0.1000    0.0000
##    120        0.6089             nan     0.1000    0.0001
##    140        0.6029             nan     0.1000    0.0001
##    150        0.6003             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0363             nan     0.1000    0.0300
##      2        0.9893             nan     0.1000    0.0237
##      3        0.9510             nan     0.1000    0.0189
##      4        0.9194             nan     0.1000    0.0158
##      5        0.8938             nan     0.1000    0.0126
##      6        0.8713             nan     0.1000    0.0114
##      7        0.8491             nan     0.1000    0.0111
##      8        0.8309             nan     0.1000    0.0091
##      9        0.8176             nan     0.1000    0.0065
##     10        0.8046             nan     0.1000    0.0065
##     20        0.7191             nan     0.1000    0.0032
##     40        0.6516             nan     0.1000    0.0006
##     60        0.6252             nan     0.1000    0.0004
##     80        0.6083             nan     0.1000    0.0001
##    100        0.5981             nan     0.1000    0.0001
##    120        0.5903             nan     0.1000    0.0000
##    140        0.5839             nan     0.1000    0.0001
##    150        0.5809             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0184
##      2        1.0290             nan     0.1000    0.0148
##      3        1.0044             nan     0.1000    0.0121
##      4        0.9838             nan     0.1000    0.0098
##      5        0.9644             nan     0.1000    0.0097
##      6        0.9500             nan     0.1000    0.0070
##      7        0.9333             nan     0.1000    0.0083
##      8        0.9181             nan     0.1000    0.0077
##      9        0.9055             nan     0.1000    0.0065
##     10        0.8959             nan     0.1000    0.0049
##     20        0.8153             nan     0.1000    0.0024
##     40        0.7350             nan     0.1000    0.0015
##     60        0.6944             nan     0.1000    0.0005
##     80        0.6694             nan     0.1000    0.0006
##    100        0.6543             nan     0.1000    0.0002
##    120        0.6439             nan     0.1000    0.0002
##    140        0.6362             nan     0.1000    0.0001
##    150        0.6326             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0437             nan     0.1000    0.0257
##      2        1.0041             nan     0.1000    0.0198
##      3        0.9699             nan     0.1000    0.0162
##      4        0.9432             nan     0.1000    0.0131
##      5        0.9148             nan     0.1000    0.0144
##      6        0.8910             nan     0.1000    0.0116
##      7        0.8715             nan     0.1000    0.0095
##      8        0.8570             nan     0.1000    0.0072
##      9        0.8451             nan     0.1000    0.0059
##     10        0.8321             nan     0.1000    0.0066
##     20        0.7489             nan     0.1000    0.0027
##     40        0.6760             nan     0.1000    0.0008
##     60        0.6477             nan     0.1000    0.0005
##     80        0.6317             nan     0.1000    0.0004
##    100        0.6204             nan     0.1000    0.0002
##    120        0.6110             nan     0.1000    0.0002
##    140        0.6055             nan     0.1000    0.0002
##    150        0.6028             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0357             nan     0.1000    0.0293
##      2        0.9890             nan     0.1000    0.0234
##      3        0.9509             nan     0.1000    0.0191
##      4        0.9193             nan     0.1000    0.0156
##      5        0.8942             nan     0.1000    0.0124
##      6        0.8728             nan     0.1000    0.0103
##      7        0.8508             nan     0.1000    0.0112
##      8        0.8320             nan     0.1000    0.0093
##      9        0.8160             nan     0.1000    0.0081
##     10        0.8045             nan     0.1000    0.0057
##     20        0.7198             nan     0.1000    0.0026
##     40        0.6529             nan     0.1000    0.0007
##     60        0.6266             nan     0.1000    0.0004
##     80        0.6109             nan     0.1000    0.0001
##    100        0.6000             nan     0.1000    0.0001
##    120        0.5924             nan     0.1000   -0.0000
##    140        0.5871             nan     0.1000    0.0000
##    150        0.5844             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0576             nan     0.1000    0.0187
##      2        1.0271             nan     0.1000    0.0150
##      3        1.0033             nan     0.1000    0.0122
##      4        0.9831             nan     0.1000    0.0104
##      5        0.9635             nan     0.1000    0.0098
##      6        0.9463             nan     0.1000    0.0085
##      7        0.9332             nan     0.1000    0.0065
##      8        0.9179             nan     0.1000    0.0078
##      9        0.9046             nan     0.1000    0.0065
##     10        0.8916             nan     0.1000    0.0062
##     20        0.8140             nan     0.1000    0.0024
##     40        0.7362             nan     0.1000    0.0009
##     60        0.6947             nan     0.1000    0.0011
##     80        0.6694             nan     0.1000    0.0006
##    100        0.6543             nan     0.1000    0.0002
##    120        0.6435             nan     0.1000    0.0001
##    140        0.6359             nan     0.1000    0.0000
##    150        0.6327             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0261
##      2        1.0038             nan     0.1000    0.0197
##      3        0.9707             nan     0.1000    0.0169
##      4        0.9442             nan     0.1000    0.0133
##      5        0.9152             nan     0.1000    0.0145
##      6        0.8915             nan     0.1000    0.0117
##      7        0.8721             nan     0.1000    0.0097
##      8        0.8557             nan     0.1000    0.0079
##      9        0.8424             nan     0.1000    0.0068
##     10        0.8312             nan     0.1000    0.0056
##     20        0.7492             nan     0.1000    0.0027
##     40        0.6767             nan     0.1000    0.0012
##     60        0.6461             nan     0.1000    0.0005
##     80        0.6307             nan     0.1000    0.0004
##    100        0.6195             nan     0.1000    0.0001
##    120        0.6116             nan     0.1000    0.0001
##    140        0.6045             nan     0.1000    0.0001
##    150        0.6018             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0370             nan     0.1000    0.0300
##      2        0.9905             nan     0.1000    0.0232
##      3        0.9530             nan     0.1000    0.0187
##      4        0.9209             nan     0.1000    0.0161
##      5        0.8948             nan     0.1000    0.0130
##      6        0.8725             nan     0.1000    0.0110
##      7        0.8535             nan     0.1000    0.0094
##      8        0.8345             nan     0.1000    0.0095
##      9        0.8180             nan     0.1000    0.0082
##     10        0.8058             nan     0.1000    0.0059
##     20        0.7208             nan     0.1000    0.0028
##     40        0.6539             nan     0.1000    0.0008
##     60        0.6273             nan     0.1000    0.0005
##     80        0.6098             nan     0.1000    0.0001
##    100        0.5999             nan     0.1000    0.0001
##    120        0.5921             nan     0.1000    0.0001
##    140        0.5868             nan     0.1000    0.0000
##    150        0.5845             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0582             nan     0.1000    0.0186
##      2        1.0282             nan     0.1000    0.0149
##      3        1.0035             nan     0.1000    0.0121
##      4        0.9832             nan     0.1000    0.0103
##      5        0.9640             nan     0.1000    0.0097
##      6        0.9471             nan     0.1000    0.0085
##      7        0.9339             nan     0.1000    0.0066
##      8        0.9184             nan     0.1000    0.0077
##      9        0.9087             nan     0.1000    0.0049
##     10        0.8959             nan     0.1000    0.0062
##     20        0.8137             nan     0.1000    0.0025
##     40        0.7360             nan     0.1000    0.0017
##     60        0.6956             nan     0.1000    0.0008
##     80        0.6705             nan     0.1000    0.0005
##    100        0.6545             nan     0.1000    0.0004
##    120        0.6433             nan     0.1000    0.0001
##    140        0.6350             nan     0.1000    0.0001
##    150        0.6323             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0437             nan     0.1000    0.0256
##      2        1.0041             nan     0.1000    0.0198
##      3        0.9712             nan     0.1000    0.0169
##      4        0.9436             nan     0.1000    0.0136
##      5        0.9141             nan     0.1000    0.0146
##      6        0.8910             nan     0.1000    0.0117
##      7        0.8714             nan     0.1000    0.0099
##      8        0.8559             nan     0.1000    0.0077
##      9        0.8437             nan     0.1000    0.0060
##     10        0.8308             nan     0.1000    0.0063
##     20        0.7500             nan     0.1000    0.0031
##     40        0.6765             nan     0.1000    0.0013
##     60        0.6467             nan     0.1000    0.0004
##     80        0.6303             nan     0.1000    0.0004
##    100        0.6186             nan     0.1000    0.0003
##    120        0.6107             nan     0.1000    0.0002
##    140        0.6045             nan     0.1000   -0.0000
##    150        0.6016             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0356             nan     0.1000    0.0296
##      2        0.9888             nan     0.1000    0.0231
##      3        0.9516             nan     0.1000    0.0188
##      4        0.9199             nan     0.1000    0.0155
##      5        0.8939             nan     0.1000    0.0129
##      6        0.8687             nan     0.1000    0.0121
##      7        0.8500             nan     0.1000    0.0092
##      8        0.8318             nan     0.1000    0.0090
##      9        0.8166             nan     0.1000    0.0075
##     10        0.8030             nan     0.1000    0.0068
##     20        0.7187             nan     0.1000    0.0035
##     40        0.6539             nan     0.1000    0.0005
##     60        0.6268             nan     0.1000    0.0007
##     80        0.6108             nan     0.1000    0.0002
##    100        0.6012             nan     0.1000    0.0001
##    120        0.5928             nan     0.1000    0.0002
##    140        0.5869             nan     0.1000    0.0001
##    150        0.5836             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0582             nan     0.1000    0.0184
##      2        1.0287             nan     0.1000    0.0148
##      3        1.0042             nan     0.1000    0.0121
##      4        0.9836             nan     0.1000    0.0102
##      5        0.9642             nan     0.1000    0.0096
##      6        0.9471             nan     0.1000    0.0084
##      7        0.9340             nan     0.1000    0.0064
##      8        0.9185             nan     0.1000    0.0076
##      9        0.9054             nan     0.1000    0.0063
##     10        0.8954             nan     0.1000    0.0049
##     20        0.8156             nan     0.1000    0.0034
##     40        0.7378             nan     0.1000    0.0009
##     60        0.6960             nan     0.1000    0.0008
##     80        0.6710             nan     0.1000    0.0004
##    100        0.6565             nan     0.1000    0.0003
##    120        0.6461             nan     0.1000    0.0003
##    140        0.6388             nan     0.1000    0.0002
##    150        0.6358             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0440             nan     0.1000    0.0261
##      2        1.0044             nan     0.1000    0.0196
##      3        0.9714             nan     0.1000    0.0165
##      4        0.9450             nan     0.1000    0.0131
##      5        0.9159             nan     0.1000    0.0144
##      6        0.8925             nan     0.1000    0.0117
##      7        0.8752             nan     0.1000    0.0085
##      8        0.8591             nan     0.1000    0.0080
##      9        0.8432             nan     0.1000    0.0078
##     10        0.8321             nan     0.1000    0.0056
##     20        0.7511             nan     0.1000    0.0032
##     40        0.6790             nan     0.1000    0.0011
##     60        0.6486             nan     0.1000    0.0005
##     80        0.6335             nan     0.1000    0.0002
##    100        0.6224             nan     0.1000    0.0000
##    120        0.6150             nan     0.1000    0.0001
##    140        0.6088             nan     0.1000    0.0001
##    150        0.6061             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0365             nan     0.1000    0.0290
##      2        0.9908             nan     0.1000    0.0231
##      3        0.9537             nan     0.1000    0.0187
##      4        0.9215             nan     0.1000    0.0159
##      5        0.8951             nan     0.1000    0.0131
##      6        0.8697             nan     0.1000    0.0124
##      7        0.8516             nan     0.1000    0.0090
##      8        0.8338             nan     0.1000    0.0089
##      9        0.8174             nan     0.1000    0.0083
##     10        0.8036             nan     0.1000    0.0067
##     20        0.7193             nan     0.1000    0.0026
##     40        0.6550             nan     0.1000    0.0009
##     60        0.6292             nan     0.1000    0.0003
##     80        0.6123             nan     0.1000    0.0001
##    100        0.6024             nan     0.1000    0.0001
##    120        0.5951             nan     0.1000    0.0001
##    140        0.5884             nan     0.1000    0.0000
##    150        0.5864             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0586             nan     0.1000    0.0186
##      2        1.0286             nan     0.1000    0.0150
##      3        1.0046             nan     0.1000    0.0122
##      4        0.9845             nan     0.1000    0.0102
##      5        0.9647             nan     0.1000    0.0098
##      6        0.9509             nan     0.1000    0.0068
##      7        0.9342             nan     0.1000    0.0083
##      8        0.9192             nan     0.1000    0.0078
##      9        0.9057             nan     0.1000    0.0064
##     10        0.8929             nan     0.1000    0.0063
##     20        0.8154             nan     0.1000    0.0024
##     40        0.7374             nan     0.1000    0.0015
##     60        0.6954             nan     0.1000    0.0005
##     80        0.6712             nan     0.1000    0.0003
##    100        0.6563             nan     0.1000    0.0006
##    120        0.6441             nan     0.1000    0.0002
##    140        0.6367             nan     0.1000    0.0001
##    150        0.6333             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0432             nan     0.1000    0.0260
##      2        1.0034             nan     0.1000    0.0197
##      3        0.9702             nan     0.1000    0.0164
##      4        0.9428             nan     0.1000    0.0136
##      5        0.9144             nan     0.1000    0.0143
##      6        0.8909             nan     0.1000    0.0113
##      7        0.8718             nan     0.1000    0.0095
##      8        0.8553             nan     0.1000    0.0081
##      9        0.8420             nan     0.1000    0.0067
##     10        0.8323             nan     0.1000    0.0047
##     20        0.7509             nan     0.1000    0.0026
##     40        0.6769             nan     0.1000    0.0010
##     60        0.6481             nan     0.1000    0.0003
##     80        0.6322             nan     0.1000    0.0002
##    100        0.6208             nan     0.1000    0.0003
##    120        0.6123             nan     0.1000    0.0002
##    140        0.6067             nan     0.1000    0.0001
##    150        0.6036             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0360             nan     0.1000    0.0296
##      2        0.9902             nan     0.1000    0.0234
##      3        0.9532             nan     0.1000    0.0181
##      4        0.9213             nan     0.1000    0.0162
##      5        0.8956             nan     0.1000    0.0128
##      6        0.8702             nan     0.1000    0.0127
##      7        0.8511             nan     0.1000    0.0094
##      8        0.8328             nan     0.1000    0.0090
##      9        0.8169             nan     0.1000    0.0076
##     10        0.8026             nan     0.1000    0.0070
##     20        0.7207             nan     0.1000    0.0027
##     40        0.6540             nan     0.1000    0.0012
##     60        0.6270             nan     0.1000    0.0003
##     80        0.6116             nan     0.1000    0.0001
##    100        0.6013             nan     0.1000    0.0000
##    120        0.5926             nan     0.1000    0.0000
##    140        0.5867             nan     0.1000    0.0000
##    150        0.5840             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0579             nan     0.1000    0.0188
##      2        1.0280             nan     0.1000    0.0152
##      3        1.0031             nan     0.1000    0.0124
##      4        0.9822             nan     0.1000    0.0103
##      5        0.9625             nan     0.1000    0.0099
##      6        0.9445             nan     0.1000    0.0085
##      7        0.9311             nan     0.1000    0.0067
##      8        0.9157             nan     0.1000    0.0079
##      9        0.9056             nan     0.1000    0.0049
##     10        0.8932             nan     0.1000    0.0063
##     20        0.8097             nan     0.1000    0.0031
##     40        0.7327             nan     0.1000    0.0011
##     60        0.6908             nan     0.1000    0.0009
##     80        0.6661             nan     0.1000    0.0006
##    100        0.6509             nan     0.1000    0.0002
##    120        0.6397             nan     0.1000    0.0003
##    140        0.6323             nan     0.1000    0.0001
##    150        0.6291             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0430             nan     0.1000    0.0267
##      2        1.0026             nan     0.1000    0.0202
##      3        0.9692             nan     0.1000    0.0167
##      4        0.9406             nan     0.1000    0.0138
##      5        0.9118             nan     0.1000    0.0146
##      6        0.8881             nan     0.1000    0.0117
##      7        0.8705             nan     0.1000    0.0088
##      8        0.8555             nan     0.1000    0.0074
##      9        0.8418             nan     0.1000    0.0066
##     10        0.8294             nan     0.1000    0.0061
##     20        0.7440             nan     0.1000    0.0027
##     40        0.6737             nan     0.1000    0.0009
##     60        0.6434             nan     0.1000    0.0004
##     80        0.6276             nan     0.1000    0.0001
##    100        0.6170             nan     0.1000    0.0001
##    120        0.6086             nan     0.1000    0.0001
##    140        0.6029             nan     0.1000    0.0001
##    150        0.6007             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0352             nan     0.1000    0.0296
##      2        0.9871             nan     0.1000    0.0239
##      3        0.9494             nan     0.1000    0.0193
##      4        0.9180             nan     0.1000    0.0157
##      5        0.8925             nan     0.1000    0.0126
##      6        0.8691             nan     0.1000    0.0115
##      7        0.8500             nan     0.1000    0.0093
##      8        0.8308             nan     0.1000    0.0095
##      9        0.8147             nan     0.1000    0.0080
##     10        0.7993             nan     0.1000    0.0076
##     20        0.7161             nan     0.1000    0.0031
##     40        0.6499             nan     0.1000    0.0008
##     60        0.6215             nan     0.1000    0.0005
##     80        0.6070             nan     0.1000    0.0001
##    100        0.5963             nan     0.1000    0.0001
##    120        0.5899             nan     0.1000    0.0000
##    140        0.5845             nan     0.1000    0.0003
##    150        0.5810             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0585             nan     0.1000    0.0186
##      2        1.0283             nan     0.1000    0.0150
##      3        1.0034             nan     0.1000    0.0121
##      4        0.9829             nan     0.1000    0.0102
##      5        0.9638             nan     0.1000    0.0097
##      6        0.9499             nan     0.1000    0.0071
##      7        0.9329             nan     0.1000    0.0083
##      8        0.9174             nan     0.1000    0.0077
##      9        0.9044             nan     0.1000    0.0064
##     10        0.8950             nan     0.1000    0.0048
##     20        0.8149             nan     0.1000    0.0023
##     40        0.7363             nan     0.1000    0.0012
##     60        0.6957             nan     0.1000    0.0008
##     80        0.6709             nan     0.1000    0.0003
##    100        0.6556             nan     0.1000    0.0005
##    120        0.6460             nan     0.1000    0.0001
##    140        0.6373             nan     0.1000    0.0001
##    150        0.6344             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0437             nan     0.1000    0.0259
##      2        1.0041             nan     0.1000    0.0196
##      3        0.9713             nan     0.1000    0.0163
##      4        0.9453             nan     0.1000    0.0131
##      5        0.9162             nan     0.1000    0.0147
##      6        0.8925             nan     0.1000    0.0119
##      7        0.8731             nan     0.1000    0.0098
##      8        0.8588             nan     0.1000    0.0073
##      9        0.8471             nan     0.1000    0.0058
##     10        0.8339             nan     0.1000    0.0066
##     20        0.7482             nan     0.1000    0.0033
##     40        0.6791             nan     0.1000    0.0007
##     60        0.6498             nan     0.1000    0.0006
##     80        0.6340             nan     0.1000    0.0004
##    100        0.6219             nan     0.1000    0.0001
##    120        0.6137             nan     0.1000    0.0000
##    140        0.6068             nan     0.1000    0.0002
##    150        0.6043             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0371             nan     0.1000    0.0291
##      2        0.9892             nan     0.1000    0.0238
##      3        0.9517             nan     0.1000    0.0186
##      4        0.9208             nan     0.1000    0.0154
##      5        0.8912             nan     0.1000    0.0147
##      6        0.8697             nan     0.1000    0.0107
##      7        0.8489             nan     0.1000    0.0102
##      8        0.8306             nan     0.1000    0.0089
##      9        0.8170             nan     0.1000    0.0066
##     10        0.8056             nan     0.1000    0.0055
##     20        0.7221             nan     0.1000    0.0018
##     40        0.6537             nan     0.1000    0.0006
##     60        0.6255             nan     0.1000    0.0004
##     80        0.6093             nan     0.1000    0.0003
##    100        0.5993             nan     0.1000    0.0000
##    120        0.5928             nan     0.1000    0.0001
##    140        0.5870             nan     0.1000   -0.0001
##    150        0.5845             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0186
##      2        1.0284             nan     0.1000    0.0150
##      3        1.0034             nan     0.1000    0.0122
##      4        0.9831             nan     0.1000    0.0101
##      5        0.9685             nan     0.1000    0.0072
##      6        0.9494             nan     0.1000    0.0096
##      7        0.9327             nan     0.1000    0.0083
##      8        0.9172             nan     0.1000    0.0078
##      9        0.9041             nan     0.1000    0.0063
##     10        0.8911             nan     0.1000    0.0063
##     20        0.8149             nan     0.1000    0.0022
##     40        0.7350             nan     0.1000    0.0013
##     60        0.6951             nan     0.1000    0.0007
##     80        0.6696             nan     0.1000    0.0002
##    100        0.6547             nan     0.1000    0.0002
##    120        0.6433             nan     0.1000    0.0002
##    140        0.6357             nan     0.1000    0.0001
##    150        0.6325             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0432             nan     0.1000    0.0261
##      2        1.0034             nan     0.1000    0.0199
##      3        0.9708             nan     0.1000    0.0161
##      4        0.9355             nan     0.1000    0.0172
##      5        0.9081             nan     0.1000    0.0137
##      6        0.8892             nan     0.1000    0.0096
##      7        0.8691             nan     0.1000    0.0101
##      8        0.8535             nan     0.1000    0.0078
##      9        0.8403             nan     0.1000    0.0063
##     10        0.8286             nan     0.1000    0.0059
##     20        0.7466             nan     0.1000    0.0029
##     40        0.6757             nan     0.1000    0.0013
##     60        0.6467             nan     0.1000    0.0003
##     80        0.6310             nan     0.1000    0.0004
##    100        0.6190             nan     0.1000    0.0003
##    120        0.6105             nan     0.1000    0.0001
##    140        0.6041             nan     0.1000    0.0000
##    150        0.6020             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0352             nan     0.1000    0.0297
##      2        0.9910             nan     0.1000    0.0221
##      3        0.9520             nan     0.1000    0.0192
##      4        0.9209             nan     0.1000    0.0156
##      5        0.8949             nan     0.1000    0.0131
##      6        0.8734             nan     0.1000    0.0106
##      7        0.8518             nan     0.1000    0.0106
##      8        0.8331             nan     0.1000    0.0094
##      9        0.8178             nan     0.1000    0.0076
##     10        0.8051             nan     0.1000    0.0063
##     20        0.7192             nan     0.1000    0.0030
##     40        0.6520             nan     0.1000    0.0007
##     60        0.6260             nan     0.1000    0.0003
##     80        0.6105             nan     0.1000    0.0001
##    100        0.5997             nan     0.1000    0.0001
##    120        0.5928             nan     0.1000    0.0001
##    140        0.5877             nan     0.1000    0.0000
##    150        0.5846             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0187
##      2        1.0283             nan     0.1000    0.0151
##      3        1.0030             nan     0.1000    0.0122
##      4        0.9827             nan     0.1000    0.0099
##      5        0.9635             nan     0.1000    0.0098
##      6        0.9496             nan     0.1000    0.0067
##      7        0.9333             nan     0.1000    0.0082
##      8        0.9179             nan     0.1000    0.0078
##      9        0.9046             nan     0.1000    0.0063
##     10        0.8916             nan     0.1000    0.0064
##     20        0.8132             nan     0.1000    0.0033
##     40        0.7348             nan     0.1000    0.0018
##     60        0.6939             nan     0.1000    0.0008
##     80        0.6701             nan     0.1000    0.0005
##    100        0.6539             nan     0.1000    0.0003
##    120        0.6446             nan     0.1000    0.0003
##    140        0.6360             nan     0.1000    0.0001
##    150        0.6332             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0429             nan     0.1000    0.0264
##      2        1.0034             nan     0.1000    0.0200
##      3        0.9702             nan     0.1000    0.0170
##      4        0.9434             nan     0.1000    0.0133
##      5        0.9140             nan     0.1000    0.0146
##      6        0.8907             nan     0.1000    0.0118
##      7        0.8713             nan     0.1000    0.0096
##      8        0.8562             nan     0.1000    0.0075
##      9        0.8419             nan     0.1000    0.0070
##     10        0.8307             nan     0.1000    0.0056
##     20        0.7492             nan     0.1000    0.0024
##     40        0.6763             nan     0.1000    0.0009
##     60        0.6458             nan     0.1000    0.0007
##     80        0.6305             nan     0.1000    0.0002
##    100        0.6191             nan     0.1000    0.0001
##    120        0.6114             nan     0.1000    0.0001
##    140        0.6048             nan     0.1000    0.0000
##    150        0.6018             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0366             nan     0.1000    0.0293
##      2        0.9886             nan     0.1000    0.0237
##      3        0.9516             nan     0.1000    0.0187
##      4        0.9193             nan     0.1000    0.0159
##      5        0.8936             nan     0.1000    0.0130
##      6        0.8684             nan     0.1000    0.0126
##      7        0.8497             nan     0.1000    0.0095
##      8        0.8314             nan     0.1000    0.0091
##      9        0.8182             nan     0.1000    0.0064
##     10        0.8054             nan     0.1000    0.0061
##     20        0.7195             nan     0.1000    0.0027
##     40        0.6526             nan     0.1000    0.0009
##     60        0.6265             nan     0.1000    0.0006
##     80        0.6108             nan     0.1000    0.0003
##    100        0.5995             nan     0.1000    0.0003
##    120        0.5920             nan     0.1000    0.0001
##    140        0.5856             nan     0.1000    0.0000
##    150        0.5833             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0588             nan     0.1000    0.0187
##      2        1.0282             nan     0.1000    0.0151
##      3        1.0037             nan     0.1000    0.0123
##      4        0.9837             nan     0.1000    0.0101
##      5        0.9639             nan     0.1000    0.0098
##      6        0.9499             nan     0.1000    0.0069
##      7        0.9339             nan     0.1000    0.0079
##      8        0.9186             nan     0.1000    0.0078
##      9        0.9087             nan     0.1000    0.0048
##     10        0.8955             nan     0.1000    0.0064
##     20        0.8145             nan     0.1000    0.0033
##     40        0.7372             nan     0.1000    0.0015
##     60        0.6971             nan     0.1000    0.0008
##     80        0.6717             nan     0.1000    0.0006
##    100        0.6566             nan     0.1000    0.0002
##    120        0.6451             nan     0.1000    0.0001
##    140        0.6369             nan     0.1000    0.0001
##    150        0.6341             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0438             nan     0.1000    0.0256
##      2        1.0041             nan     0.1000    0.0194
##      3        0.9705             nan     0.1000    0.0167
##      4        0.9440             nan     0.1000    0.0132
##      5        0.9153             nan     0.1000    0.0145
##      6        0.8912             nan     0.1000    0.0116
##      7        0.8717             nan     0.1000    0.0096
##      8        0.8576             nan     0.1000    0.0071
##      9        0.8437             nan     0.1000    0.0069
##     10        0.8317             nan     0.1000    0.0060
##     20        0.7500             nan     0.1000    0.0025
##     40        0.6773             nan     0.1000    0.0010
##     60        0.6483             nan     0.1000    0.0004
##     80        0.6320             nan     0.1000    0.0002
##    100        0.6223             nan     0.1000    0.0001
##    120        0.6129             nan     0.1000    0.0001
##    140        0.6073             nan     0.1000    0.0001
##    150        0.6038             nan     0.1000    0.0003
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0366             nan     0.1000    0.0298
##      2        0.9914             nan     0.1000    0.0227
##      3        0.9517             nan     0.1000    0.0200
##      4        0.9208             nan     0.1000    0.0152
##      5        0.8956             nan     0.1000    0.0126
##      6        0.8733             nan     0.1000    0.0112
##      7        0.8518             nan     0.1000    0.0109
##      8        0.8338             nan     0.1000    0.0091
##      9        0.8182             nan     0.1000    0.0077
##     10        0.8044             nan     0.1000    0.0066
##     20        0.7205             nan     0.1000    0.0030
##     40        0.6553             nan     0.1000    0.0009
##     60        0.6267             nan     0.1000    0.0005
##     80        0.6114             nan     0.1000    0.0006
##    100        0.6006             nan     0.1000    0.0003
##    120        0.5932             nan     0.1000    0.0000
##    140        0.5877             nan     0.1000    0.0000
##    150        0.5848             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0589             nan     0.1000    0.0184
##      2        1.0289             nan     0.1000    0.0149
##      3        1.0043             nan     0.1000    0.0121
##      4        0.9840             nan     0.1000    0.0108
##      5        0.9643             nan     0.1000    0.0096
##      6        0.9503             nan     0.1000    0.0071
##      7        0.9335             nan     0.1000    0.0084
##      8        0.9184             nan     0.1000    0.0076
##      9        0.9085             nan     0.1000    0.0049
##     10        0.8961             nan     0.1000    0.0064
##     20        0.8131             nan     0.1000    0.0032
##     40        0.7352             nan     0.1000    0.0011
##     60        0.6947             nan     0.1000    0.0005
##     80        0.6709             nan     0.1000    0.0007
##    100        0.6549             nan     0.1000    0.0004
##    120        0.6440             nan     0.1000    0.0001
##    140        0.6362             nan     0.1000    0.0003
##    150        0.6334             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0438             nan     0.1000    0.0259
##      2        1.0047             nan     0.1000    0.0196
##      3        0.9717             nan     0.1000    0.0167
##      4        0.9431             nan     0.1000    0.0136
##      5        0.9143             nan     0.1000    0.0142
##      6        0.8912             nan     0.1000    0.0117
##      7        0.8747             nan     0.1000    0.0081
##      8        0.8596             nan     0.1000    0.0073
##      9        0.8435             nan     0.1000    0.0079
##     10        0.8299             nan     0.1000    0.0069
##     20        0.7514             nan     0.1000    0.0020
##     40        0.6773             nan     0.1000    0.0008
##     60        0.6473             nan     0.1000    0.0004
##     80        0.6311             nan     0.1000    0.0004
##    100        0.6200             nan     0.1000    0.0001
##    120        0.6123             nan     0.1000    0.0001
##    140        0.6058             nan     0.1000    0.0002
##    150        0.6036             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0367             nan     0.1000    0.0294
##      2        0.9898             nan     0.1000    0.0235
##      3        0.9548             nan     0.1000    0.0176
##      4        0.9233             nan     0.1000    0.0157
##      5        0.8969             nan     0.1000    0.0130
##      6        0.8716             nan     0.1000    0.0128
##      7        0.8497             nan     0.1000    0.0108
##      8        0.8321             nan     0.1000    0.0091
##      9        0.8183             nan     0.1000    0.0066
##     10        0.8035             nan     0.1000    0.0072
##     20        0.7202             nan     0.1000    0.0025
##     40        0.6526             nan     0.1000    0.0010
##     60        0.6256             nan     0.1000    0.0004
##     80        0.6098             nan     0.1000    0.0002
##    100        0.6003             nan     0.1000   -0.0000
##    120        0.5918             nan     0.1000    0.0001
##    140        0.5863             nan     0.1000    0.0001
##    150        0.5838             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0577             nan     0.1000    0.0185
##      2        1.0273             nan     0.1000    0.0148
##      3        1.0032             nan     0.1000    0.0120
##      4        0.9825             nan     0.1000    0.0102
##      5        0.9642             nan     0.1000    0.0089
##      6        0.9451             nan     0.1000    0.0095
##      7        0.9317             nan     0.1000    0.0065
##      8        0.9165             nan     0.1000    0.0077
##      9        0.9033             nan     0.1000    0.0065
##     10        0.8935             nan     0.1000    0.0047
##     20        0.8113             nan     0.1000    0.0033
##     40        0.7342             nan     0.1000    0.0015
##     60        0.6921             nan     0.1000    0.0005
##     80        0.6674             nan     0.1000    0.0007
##    100        0.6519             nan     0.1000    0.0004
##    120        0.6409             nan     0.1000    0.0001
##    140        0.6341             nan     0.1000    0.0000
##    150        0.6305             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0431             nan     0.1000    0.0255
##      2        1.0036             nan     0.1000    0.0197
##      3        0.9705             nan     0.1000    0.0164
##      4        0.9430             nan     0.1000    0.0135
##      5        0.9134             nan     0.1000    0.0147
##      6        0.8945             nan     0.1000    0.0093
##      7        0.8736             nan     0.1000    0.0103
##      8        0.8568             nan     0.1000    0.0083
##      9        0.8431             nan     0.1000    0.0068
##     10        0.8296             nan     0.1000    0.0068
##     20        0.7481             nan     0.1000    0.0031
##     40        0.6746             nan     0.1000    0.0011
##     60        0.6438             nan     0.1000    0.0005
##     80        0.6291             nan     0.1000    0.0002
##    100        0.6172             nan     0.1000    0.0001
##    120        0.6090             nan     0.1000    0.0002
##    140        0.6017             nan     0.1000    0.0001
##    150        0.5993             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0361             nan     0.1000    0.0298
##      2        0.9893             nan     0.1000    0.0233
##      3        0.9519             nan     0.1000    0.0185
##      4        0.9192             nan     0.1000    0.0163
##      5        0.8928             nan     0.1000    0.0131
##      6        0.8705             nan     0.1000    0.0110
##      7        0.8487             nan     0.1000    0.0109
##      8        0.8336             nan     0.1000    0.0074
##      9        0.8190             nan     0.1000    0.0070
##     10        0.8032             nan     0.1000    0.0077
##     20        0.7153             nan     0.1000    0.0029
##     40        0.6495             nan     0.1000    0.0009
##     60        0.6226             nan     0.1000    0.0004
##     80        0.6080             nan     0.1000    0.0002
##    100        0.5976             nan     0.1000    0.0002
##    120        0.5888             nan     0.1000    0.0001
##    140        0.5837             nan     0.1000    0.0001
##    150        0.5811             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0580             nan     0.1000    0.0187
##      2        1.0276             nan     0.1000    0.0150
##      3        1.0034             nan     0.1000    0.0122
##      4        0.9832             nan     0.1000    0.0097
##      5        0.9634             nan     0.1000    0.0098
##      6        0.9463             nan     0.1000    0.0083
##      7        0.9331             nan     0.1000    0.0065
##      8        0.9175             nan     0.1000    0.0078
##      9        0.9041             nan     0.1000    0.0064
##     10        0.8918             nan     0.1000    0.0062
##     20        0.8138             nan     0.1000    0.0034
##     40        0.7352             nan     0.1000    0.0012
##     60        0.6944             nan     0.1000    0.0011
##     80        0.6704             nan     0.1000    0.0007
##    100        0.6559             nan     0.1000    0.0004
##    120        0.6445             nan     0.1000    0.0002
##    140        0.6364             nan     0.1000    0.0002
##    150        0.6337             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0437             nan     0.1000    0.0258
##      2        1.0026             nan     0.1000    0.0198
##      3        0.9692             nan     0.1000    0.0163
##      4        0.9418             nan     0.1000    0.0137
##      5        0.9128             nan     0.1000    0.0141
##      6        0.8896             nan     0.1000    0.0116
##      7        0.8699             nan     0.1000    0.0096
##      8        0.8556             nan     0.1000    0.0072
##      9        0.8404             nan     0.1000    0.0076
##     10        0.8310             nan     0.1000    0.0046
##     20        0.7502             nan     0.1000    0.0032
##     40        0.6768             nan     0.1000    0.0009
##     60        0.6461             nan     0.1000    0.0004
##     80        0.6303             nan     0.1000    0.0002
##    100        0.6198             nan     0.1000    0.0003
##    120        0.6112             nan     0.1000    0.0002
##    140        0.6053             nan     0.1000    0.0000
##    150        0.6025             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0356             nan     0.1000    0.0293
##      2        0.9890             nan     0.1000    0.0231
##      3        0.9507             nan     0.1000    0.0188
##      4        0.9195             nan     0.1000    0.0157
##      5        0.8943             nan     0.1000    0.0126
##      6        0.8718             nan     0.1000    0.0114
##      7        0.8525             nan     0.1000    0.0095
##      8        0.8340             nan     0.1000    0.0095
##      9        0.8184             nan     0.1000    0.0078
##     10        0.8068             nan     0.1000    0.0058
##     20        0.7227             nan     0.1000    0.0034
##     40        0.6531             nan     0.1000    0.0010
##     60        0.6266             nan     0.1000    0.0005
##     80        0.6107             nan     0.1000    0.0004
##    100        0.6016             nan     0.1000    0.0000
##    120        0.5928             nan     0.1000    0.0001
##    140        0.5878             nan     0.1000    0.0002
##    150        0.5858             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0581             nan     0.1000    0.0186
##      2        1.0290             nan     0.1000    0.0150
##      3        1.0044             nan     0.1000    0.0122
##      4        0.9839             nan     0.1000    0.0103
##      5        0.9644             nan     0.1000    0.0098
##      6        0.9501             nan     0.1000    0.0069
##      7        0.9333             nan     0.1000    0.0082
##      8        0.9180             nan     0.1000    0.0078
##      9        0.9078             nan     0.1000    0.0050
##     10        0.8954             nan     0.1000    0.0062
##     20        0.8121             nan     0.1000    0.0033
##     40        0.7347             nan     0.1000    0.0015
##     60        0.6944             nan     0.1000    0.0007
##     80        0.6690             nan     0.1000    0.0006
##    100        0.6535             nan     0.1000    0.0002
##    120        0.6427             nan     0.1000    0.0002
##    140        0.6344             nan     0.1000    0.0000
##    150        0.6313             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0447             nan     0.1000    0.0259
##      2        1.0046             nan     0.1000    0.0202
##      3        0.9711             nan     0.1000    0.0170
##      4        0.9442             nan     0.1000    0.0135
##      5        0.9151             nan     0.1000    0.0144
##      6        0.8918             nan     0.1000    0.0117
##      7        0.8743             nan     0.1000    0.0087
##      8        0.8583             nan     0.1000    0.0081
##      9        0.8421             nan     0.1000    0.0081
##     10        0.8298             nan     0.1000    0.0062
##     20        0.7475             nan     0.1000    0.0031
##     40        0.6756             nan     0.1000    0.0008
##     60        0.6462             nan     0.1000    0.0003
##     80        0.6286             nan     0.1000    0.0003
##    100        0.6184             nan     0.1000    0.0001
##    120        0.6094             nan     0.1000    0.0000
##    140        0.6031             nan     0.1000    0.0000
##    150        0.6003             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0355             nan     0.1000    0.0295
##      2        0.9890             nan     0.1000    0.0234
##      3        0.9514             nan     0.1000    0.0185
##      4        0.9186             nan     0.1000    0.0159
##      5        0.8930             nan     0.1000    0.0127
##      6        0.8702             nan     0.1000    0.0111
##      7        0.8479             nan     0.1000    0.0113
##      8        0.8301             nan     0.1000    0.0090
##      9        0.8170             nan     0.1000    0.0063
##     10        0.8044             nan     0.1000    0.0062
##     20        0.7174             nan     0.1000    0.0029
##     40        0.6523             nan     0.1000    0.0006
##     60        0.6258             nan     0.1000    0.0002
##     80        0.6097             nan     0.1000    0.0002
##    100        0.5988             nan     0.1000   -0.0000
##    120        0.5908             nan     0.1000    0.0002
##    140        0.5857             nan     0.1000    0.0000
##    150        0.5831             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0578             nan     0.1000    0.0189
##      2        1.0275             nan     0.1000    0.0152
##      3        1.0026             nan     0.1000    0.0124
##      4        0.9818             nan     0.1000    0.0101
##      5        0.9619             nan     0.1000    0.0099
##      6        0.9450             nan     0.1000    0.0084
##      7        0.9286             nan     0.1000    0.0080
##      8        0.9160             nan     0.1000    0.0066
##      9        0.9035             nan     0.1000    0.0063
##     10        0.8938             nan     0.1000    0.0048
##     20        0.8112             nan     0.1000    0.0033
##     40        0.7333             nan     0.1000    0.0012
##     60        0.6926             nan     0.1000    0.0005
##     80        0.6669             nan     0.1000    0.0007
##    100        0.6509             nan     0.1000    0.0002
##    120        0.6411             nan     0.1000    0.0001
##    140        0.6329             nan     0.1000    0.0003
##    150        0.6291             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0435             nan     0.1000    0.0261
##      2        1.0030             nan     0.1000    0.0200
##      3        0.9711             nan     0.1000    0.0158
##      4        0.9424             nan     0.1000    0.0144
##      5        0.9126             nan     0.1000    0.0147
##      6        0.8883             nan     0.1000    0.0118
##      7        0.8684             nan     0.1000    0.0097
##      8        0.8541             nan     0.1000    0.0072
##      9        0.8400             nan     0.1000    0.0069
##     10        0.8283             nan     0.1000    0.0057
##     20        0.7489             nan     0.1000    0.0027
##     40        0.6751             nan     0.1000    0.0012
##     60        0.6447             nan     0.1000    0.0004
##     80        0.6287             nan     0.1000    0.0002
##    100        0.6185             nan     0.1000    0.0001
##    120        0.6103             nan     0.1000    0.0001
##    140        0.6036             nan     0.1000    0.0001
##    150        0.6010             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0357             nan     0.1000    0.0296
##      2        0.9892             nan     0.1000    0.0237
##      3        0.9507             nan     0.1000    0.0189
##      4        0.9196             nan     0.1000    0.0156
##      5        0.8927             nan     0.1000    0.0135
##      6        0.8704             nan     0.1000    0.0110
##      7        0.8481             nan     0.1000    0.0110
##      8        0.8297             nan     0.1000    0.0090
##      9        0.8168             nan     0.1000    0.0064
##     10        0.8025             nan     0.1000    0.0068
##     20        0.7194             nan     0.1000    0.0031
##     40        0.6509             nan     0.1000    0.0012
##     60        0.6246             nan     0.1000    0.0001
##     80        0.6093             nan     0.1000    0.0002
##    100        0.5991             nan     0.1000    0.0001
##    120        0.5911             nan     0.1000    0.0000
##    140        0.5859             nan     0.1000    0.0000
##    150        0.5834             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0589             nan     0.1000    0.0186
##      2        1.0292             nan     0.1000    0.0150
##      3        1.0050             nan     0.1000    0.0122
##      4        0.9847             nan     0.1000    0.0100
##      5        0.9655             nan     0.1000    0.0098
##      6        0.9481             nan     0.1000    0.0084
##      7        0.9350             nan     0.1000    0.0067
##      8        0.9201             nan     0.1000    0.0078
##      9        0.9099             nan     0.1000    0.0050
##     10        0.8975             nan     0.1000    0.0061
##     20        0.8166             nan     0.1000    0.0023
##     40        0.7378             nan     0.1000    0.0011
##     60        0.6980             nan     0.1000    0.0013
##     80        0.6730             nan     0.1000    0.0005
##    100        0.6567             nan     0.1000    0.0002
##    120        0.6464             nan     0.1000    0.0002
##    140        0.6383             nan     0.1000    0.0001
##    150        0.6353             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0256
##      2        1.0040             nan     0.1000    0.0196
##      3        0.9709             nan     0.1000    0.0166
##      4        0.9430             nan     0.1000    0.0136
##      5        0.9144             nan     0.1000    0.0144
##      6        0.8915             nan     0.1000    0.0115
##      7        0.8722             nan     0.1000    0.0096
##      8        0.8576             nan     0.1000    0.0073
##      9        0.8457             nan     0.1000    0.0058
##     10        0.8338             nan     0.1000    0.0061
##     20        0.7518             nan     0.1000    0.0033
##     40        0.6794             nan     0.1000    0.0011
##     60        0.6498             nan     0.1000    0.0005
##     80        0.6326             nan     0.1000    0.0003
##    100        0.6213             nan     0.1000    0.0001
##    120        0.6132             nan     0.1000    0.0001
##    140        0.6062             nan     0.1000    0.0001
##    150        0.6033             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0360             nan     0.1000    0.0292
##      2        0.9893             nan     0.1000    0.0232
##      3        0.9515             nan     0.1000    0.0186
##      4        0.9204             nan     0.1000    0.0154
##      5        0.8916             nan     0.1000    0.0140
##      6        0.8697             nan     0.1000    0.0108
##      7        0.8485             nan     0.1000    0.0107
##      8        0.8311             nan     0.1000    0.0087
##      9        0.8185             nan     0.1000    0.0061
##     10        0.8057             nan     0.1000    0.0063
##     20        0.7200             nan     0.1000    0.0028
##     40        0.6555             nan     0.1000    0.0010
##     60        0.6296             nan     0.1000    0.0006
##     80        0.6138             nan     0.1000    0.0002
##    100        0.6036             nan     0.1000    0.0003
##    120        0.5960             nan     0.1000    0.0000
##    140        0.5897             nan     0.1000    0.0000
##    150        0.5877             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0582             nan     0.1000    0.0186
##      2        1.0283             nan     0.1000    0.0150
##      3        1.0041             nan     0.1000    0.0122
##      4        0.9837             nan     0.1000    0.0105
##      5        0.9645             nan     0.1000    0.0098
##      6        0.9468             nan     0.1000    0.0086
##      7        0.9332             nan     0.1000    0.0064
##      8        0.9171             nan     0.1000    0.0078
##      9        0.9071             nan     0.1000    0.0049
##     10        0.8946             nan     0.1000    0.0062
##     20        0.8153             nan     0.1000    0.0026
##     40        0.7344             nan     0.1000    0.0015
##     60        0.6945             nan     0.1000    0.0005
##     80        0.6695             nan     0.1000    0.0005
##    100        0.6545             nan     0.1000    0.0003
##    120        0.6432             nan     0.1000    0.0002
##    140        0.6353             nan     0.1000    0.0001
##    150        0.6325             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0440             nan     0.1000    0.0261
##      2        1.0041             nan     0.1000    0.0200
##      3        0.9711             nan     0.1000    0.0165
##      4        0.9436             nan     0.1000    0.0137
##      5        0.9144             nan     0.1000    0.0147
##      6        0.8912             nan     0.1000    0.0120
##      7        0.8718             nan     0.1000    0.0098
##      8        0.8568             nan     0.1000    0.0074
##      9        0.8448             nan     0.1000    0.0059
##     10        0.8328             nan     0.1000    0.0059
##     20        0.7495             nan     0.1000    0.0029
##     40        0.6758             nan     0.1000    0.0007
##     60        0.6462             nan     0.1000    0.0006
##     80        0.6302             nan     0.1000    0.0004
##    100        0.6196             nan     0.1000    0.0001
##    120        0.6108             nan     0.1000    0.0001
##    140        0.6049             nan     0.1000    0.0000
##    150        0.6024             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0358             nan     0.1000    0.0294
##      2        0.9890             nan     0.1000    0.0233
##      3        0.9520             nan     0.1000    0.0184
##      4        0.9196             nan     0.1000    0.0165
##      5        0.8936             nan     0.1000    0.0127
##      6        0.8682             nan     0.1000    0.0127
##      7        0.8475             nan     0.1000    0.0100
##      8        0.8312             nan     0.1000    0.0081
##      9        0.8156             nan     0.1000    0.0078
##     10        0.8012             nan     0.1000    0.0072
##     20        0.7166             nan     0.1000    0.0031
##     40        0.6518             nan     0.1000    0.0010
##     60        0.6261             nan     0.1000    0.0004
##     80        0.6106             nan     0.1000    0.0003
##    100        0.6004             nan     0.1000   -0.0000
##    120        0.5923             nan     0.1000    0.0001
##    140        0.5868             nan     0.1000    0.0001
##    150        0.5843             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0589             nan     0.1000    0.0185
##      2        1.0286             nan     0.1000    0.0149
##      3        1.0049             nan     0.1000    0.0121
##      4        0.9847             nan     0.1000    0.0101
##      5        0.9653             nan     0.1000    0.0097
##      6        0.9479             nan     0.1000    0.0086
##      7        0.9346             nan     0.1000    0.0067
##      8        0.9193             nan     0.1000    0.0078
##      9        0.9093             nan     0.1000    0.0049
##     10        0.8966             nan     0.1000    0.0062
##     20        0.8168             nan     0.1000    0.0035
##     40        0.7368             nan     0.1000    0.0011
##     60        0.6972             nan     0.1000    0.0005
##     80        0.6714             nan     0.1000    0.0004
##    100        0.6563             nan     0.1000    0.0005
##    120        0.6463             nan     0.1000    0.0001
##    140        0.6381             nan     0.1000    0.0001
##    150        0.6349             nan     0.1000    0.0002
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0435             nan     0.1000    0.0261
##      2        1.0040             nan     0.1000    0.0196
##      3        0.9723             nan     0.1000    0.0155
##      4        0.9441             nan     0.1000    0.0141
##      5        0.9151             nan     0.1000    0.0146
##      6        0.8919             nan     0.1000    0.0116
##      7        0.8727             nan     0.1000    0.0096
##      8        0.8574             nan     0.1000    0.0077
##      9        0.8428             nan     0.1000    0.0073
##     10        0.8320             nan     0.1000    0.0053
##     20        0.7515             nan     0.1000    0.0028
##     40        0.6798             nan     0.1000    0.0006
##     60        0.6494             nan     0.1000    0.0003
##     80        0.6329             nan     0.1000    0.0001
##    100        0.6214             nan     0.1000    0.0001
##    120        0.6133             nan     0.1000    0.0003
##    140        0.6070             nan     0.1000    0.0001
##    150        0.6044             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0368             nan     0.1000    0.0299
##      2        0.9906             nan     0.1000    0.0228
##      3        0.9529             nan     0.1000    0.0187
##      4        0.9219             nan     0.1000    0.0157
##      5        0.8963             nan     0.1000    0.0130
##      6        0.8736             nan     0.1000    0.0111
##      7        0.8525             nan     0.1000    0.0105
##      8        0.8362             nan     0.1000    0.0079
##      9        0.8200             nan     0.1000    0.0080
##     10        0.8084             nan     0.1000    0.0059
##     20        0.7230             nan     0.1000    0.0021
##     40        0.6562             nan     0.1000    0.0009
##     60        0.6286             nan     0.1000    0.0002
##     80        0.6135             nan     0.1000    0.0002
##    100        0.6020             nan     0.1000    0.0002
##    120        0.5950             nan     0.1000    0.0001
##    140        0.5896             nan     0.1000    0.0001
##    150        0.5879             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0577             nan     0.1000    0.0186
##      2        1.0281             nan     0.1000    0.0150
##      3        1.0038             nan     0.1000    0.0122
##      4        0.9832             nan     0.1000    0.0105
##      5        0.9638             nan     0.1000    0.0097
##      6        0.9498             nan     0.1000    0.0072
##      7        0.9331             nan     0.1000    0.0083
##      8        0.9181             nan     0.1000    0.0077
##      9        0.9082             nan     0.1000    0.0049
##     10        0.8952             nan     0.1000    0.0062
##     20        0.8124             nan     0.1000    0.0034
##     40        0.7361             nan     0.1000    0.0010
##     60        0.6940             nan     0.1000    0.0005
##     80        0.6701             nan     0.1000    0.0003
##    100        0.6530             nan     0.1000    0.0004
##    120        0.6437             nan     0.1000    0.0000
##    140        0.6354             nan     0.1000    0.0000
##    150        0.6323             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0436             nan     0.1000    0.0258
##      2        1.0049             nan     0.1000    0.0197
##      3        0.9733             nan     0.1000    0.0155
##      4        0.9445             nan     0.1000    0.0144
##      5        0.9153             nan     0.1000    0.0148
##      6        0.8913             nan     0.1000    0.0120
##      7        0.8717             nan     0.1000    0.0098
##      8        0.8572             nan     0.1000    0.0072
##      9        0.8430             nan     0.1000    0.0070
##     10        0.8313             nan     0.1000    0.0060
##     20        0.7475             nan     0.1000    0.0037
##     40        0.6765             nan     0.1000    0.0012
##     60        0.6460             nan     0.1000    0.0002
##     80        0.6293             nan     0.1000    0.0001
##    100        0.6177             nan     0.1000    0.0002
##    120        0.6090             nan     0.1000    0.0001
##    140        0.6031             nan     0.1000    0.0000
##    150        0.6004             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0359             nan     0.1000    0.0297
##      2        0.9896             nan     0.1000    0.0233
##      3        0.9514             nan     0.1000    0.0191
##      4        0.9202             nan     0.1000    0.0158
##      5        0.8937             nan     0.1000    0.0128
##      6        0.8692             nan     0.1000    0.0123
##      7        0.8483             nan     0.1000    0.0104
##      8        0.8330             nan     0.1000    0.0076
##      9        0.8168             nan     0.1000    0.0082
##     10        0.8043             nan     0.1000    0.0063
##     20        0.7204             nan     0.1000    0.0030
##     40        0.6545             nan     0.1000    0.0009
##     60        0.6269             nan     0.1000    0.0004
##     80        0.6115             nan     0.1000    0.0000
##    100        0.6003             nan     0.1000    0.0002
##    120        0.5920             nan     0.1000    0.0000
##    140        0.5855             nan     0.1000    0.0000
##    150        0.5834             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0579             nan     0.1000    0.0188
##      2        1.0283             nan     0.1000    0.0151
##      3        1.0031             nan     0.1000    0.0124
##      4        0.9827             nan     0.1000    0.0099
##      5        0.9629             nan     0.1000    0.0099
##      6        0.9457             nan     0.1000    0.0087
##      7        0.9323             nan     0.1000    0.0066
##      8        0.9161             nan     0.1000    0.0078
##      9        0.9029             nan     0.1000    0.0063
##     10        0.8932             nan     0.1000    0.0049
##     20        0.8127             nan     0.1000    0.0034
##     40        0.7320             nan     0.1000    0.0015
##     60        0.6930             nan     0.1000    0.0012
##     80        0.6677             nan     0.1000    0.0005
##    100        0.6532             nan     0.1000    0.0002
##    120        0.6410             nan     0.1000    0.0002
##    140        0.6336             nan     0.1000    0.0001
##    150        0.6308             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0434             nan     0.1000    0.0264
##      2        1.0037             nan     0.1000    0.0202
##      3        0.9704             nan     0.1000    0.0168
##      4        0.9437             nan     0.1000    0.0133
##      5        0.9137             nan     0.1000    0.0149
##      6        0.8900             nan     0.1000    0.0118
##      7        0.8704             nan     0.1000    0.0099
##      8        0.8550             nan     0.1000    0.0076
##      9        0.8404             nan     0.1000    0.0072
##     10        0.8292             nan     0.1000    0.0057
##     20        0.7462             nan     0.1000    0.0034
##     40        0.6745             nan     0.1000    0.0009
##     60        0.6445             nan     0.1000    0.0006
##     80        0.6290             nan     0.1000    0.0002
##    100        0.6176             nan     0.1000    0.0001
##    120        0.6101             nan     0.1000    0.0001
##    140        0.6047             nan     0.1000    0.0001
##    150        0.6019             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0356             nan     0.1000    0.0300
##      2        0.9887             nan     0.1000    0.0236
##      3        0.9516             nan     0.1000    0.0185
##      4        0.9193             nan     0.1000    0.0162
##      5        0.8919             nan     0.1000    0.0132
##      6        0.8699             nan     0.1000    0.0112
##      7        0.8477             nan     0.1000    0.0109
##      8        0.8291             nan     0.1000    0.0090
##      9        0.8131             nan     0.1000    0.0078
##     10        0.8015             nan     0.1000    0.0055
##     20        0.7186             nan     0.1000    0.0032
##     40        0.6518             nan     0.1000    0.0009
##     60        0.6236             nan     0.1000    0.0003
##     80        0.6103             nan     0.1000    0.0002
##    100        0.5994             nan     0.1000    0.0001
##    120        0.5924             nan     0.1000   -0.0000
##    140        0.5860             nan     0.1000    0.0001
##    150        0.5836             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0578             nan     0.1000    0.0187
##      2        1.0276             nan     0.1000    0.0150
##      3        1.0029             nan     0.1000    0.0122
##      4        0.9828             nan     0.1000    0.0100
##      5        0.9631             nan     0.1000    0.0098
##      6        0.9492             nan     0.1000    0.0067
##      7        0.9331             nan     0.1000    0.0081
##      8        0.9176             nan     0.1000    0.0078
##      9        0.9050             nan     0.1000    0.0063
##     10        0.8951             nan     0.1000    0.0048
##     20        0.8148             nan     0.1000    0.0022
##     40        0.7354             nan     0.1000    0.0015
##     60        0.6953             nan     0.1000    0.0005
##     80        0.6709             nan     0.1000    0.0003
##    100        0.6559             nan     0.1000    0.0002
##    120        0.6441             nan     0.1000    0.0003
##    140        0.6361             nan     0.1000    0.0001
##    150        0.6332             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0439             nan     0.1000    0.0258
##      2        1.0049             nan     0.1000    0.0199
##      3        0.9711             nan     0.1000    0.0165
##      4        0.9446             nan     0.1000    0.0131
##      5        0.9152             nan     0.1000    0.0148
##      6        0.8917             nan     0.1000    0.0121
##      7        0.8721             nan     0.1000    0.0097
##      8        0.8574             nan     0.1000    0.0070
##      9        0.8433             nan     0.1000    0.0070
##     10        0.8319             nan     0.1000    0.0056
##     20        0.7507             nan     0.1000    0.0031
##     40        0.6784             nan     0.1000    0.0012
##     60        0.6484             nan     0.1000    0.0004
##     80        0.6309             nan     0.1000    0.0003
##    100        0.6197             nan     0.1000    0.0001
##    120        0.6108             nan     0.1000    0.0001
##    140        0.6050             nan     0.1000    0.0002
##    150        0.6028             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0363             nan     0.1000    0.0291
##      2        0.9890             nan     0.1000    0.0236
##      3        0.9518             nan     0.1000    0.0188
##      4        0.9205             nan     0.1000    0.0160
##      5        0.8954             nan     0.1000    0.0123
##      6        0.8732             nan     0.1000    0.0113
##      7        0.8542             nan     0.1000    0.0093
##      8        0.8382             nan     0.1000    0.0079
##      9        0.8214             nan     0.1000    0.0082
##     10        0.8061             nan     0.1000    0.0078
##     20        0.7234             nan     0.1000    0.0023
##     40        0.6544             nan     0.1000    0.0008
##     60        0.6275             nan     0.1000    0.0005
##     80        0.6109             nan     0.1000    0.0001
##    100        0.6005             nan     0.1000    0.0000
##    120        0.5926             nan     0.1000    0.0001
##    140        0.5870             nan     0.1000    0.0000
##    150        0.5850             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0590             nan     0.1000    0.0184
##      2        1.0286             nan     0.1000    0.0148
##      3        1.0044             nan     0.1000    0.0120
##      4        0.9842             nan     0.1000    0.0099
##      5        0.9653             nan     0.1000    0.0096
##      6        0.9481             nan     0.1000    0.0085
##      7        0.9321             nan     0.1000    0.0078
##      8        0.9192             nan     0.1000    0.0064
##      9        0.9057             nan     0.1000    0.0064
##     10        0.8962             nan     0.1000    0.0045
##     20        0.8155             nan     0.1000    0.0028
##     40        0.7380             nan     0.1000    0.0009
##     60        0.6962             nan     0.1000    0.0007
##     80        0.6712             nan     0.1000    0.0005
##    100        0.6558             nan     0.1000    0.0004
##    120        0.6448             nan     0.1000    0.0001
##    140        0.6378             nan     0.1000    0.0001
##    150        0.6350             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0434             nan     0.1000    0.0257
##      2        1.0038             nan     0.1000    0.0197
##      3        0.9706             nan     0.1000    0.0163
##      4        0.9440             nan     0.1000    0.0131
##      5        0.9148             nan     0.1000    0.0145
##      6        0.8919             nan     0.1000    0.0115
##      7        0.8761             nan     0.1000    0.0077
##      8        0.8603             nan     0.1000    0.0079
##      9        0.8440             nan     0.1000    0.0081
##     10        0.8321             nan     0.1000    0.0058
##     20        0.7496             nan     0.1000    0.0033
##     40        0.6781             nan     0.1000    0.0013
##     60        0.6477             nan     0.1000    0.0003
##     80        0.6314             nan     0.1000    0.0002
##    100        0.6196             nan     0.1000    0.0003
##    120        0.6113             nan     0.1000    0.0002
##    140        0.6053             nan     0.1000    0.0001
##    150        0.6032             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0359             nan     0.1000    0.0300
##      2        0.9894             nan     0.1000    0.0233
##      3        0.9526             nan     0.1000    0.0186
##      4        0.9219             nan     0.1000    0.0152
##      5        0.8947             nan     0.1000    0.0134
##      6        0.8693             nan     0.1000    0.0126
##      7        0.8506             nan     0.1000    0.0095
##      8        0.8321             nan     0.1000    0.0091
##      9        0.8166             nan     0.1000    0.0076
##     10        0.8025             nan     0.1000    0.0069
##     20        0.7209             nan     0.1000    0.0029
##     40        0.6554             nan     0.1000    0.0011
##     60        0.6288             nan     0.1000    0.0004
##     80        0.6132             nan     0.1000    0.0000
##    100        0.6023             nan     0.1000    0.0001
##    120        0.5950             nan     0.1000    0.0001
##    140        0.5891             nan     0.1000    0.0002
##    150        0.5868             nan     0.1000   -0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0576             nan     0.1000    0.0187
##      2        1.0279             nan     0.1000    0.0150
##      3        1.0032             nan     0.1000    0.0122
##      4        0.9830             nan     0.1000    0.0099
##      5        0.9636             nan     0.1000    0.0098
##      6        0.9496             nan     0.1000    0.0070
##      7        0.9326             nan     0.1000    0.0083
##      8        0.9171             nan     0.1000    0.0078
##      9        0.9043             nan     0.1000    0.0064
##     10        0.8947             nan     0.1000    0.0048
##     20        0.8137             nan     0.1000    0.0031
##     40        0.7345             nan     0.1000    0.0013
##     60        0.6933             nan     0.1000    0.0005
##     80        0.6692             nan     0.1000    0.0006
##    100        0.6525             nan     0.1000    0.0001
##    120        0.6413             nan     0.1000    0.0004
##    140        0.6345             nan     0.1000    0.0003
##    150        0.6303             nan     0.1000    0.0003
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0427             nan     0.1000    0.0261
##      2        1.0033             nan     0.1000    0.0197
##      3        0.9705             nan     0.1000    0.0164
##      4        0.9435             nan     0.1000    0.0138
##      5        0.9144             nan     0.1000    0.0144
##      6        0.8914             nan     0.1000    0.0119
##      7        0.8719             nan     0.1000    0.0096
##      8        0.8569             nan     0.1000    0.0073
##      9        0.8450             nan     0.1000    0.0059
##     10        0.8323             nan     0.1000    0.0065
##     20        0.7495             nan     0.1000    0.0031
##     40        0.6751             nan     0.1000    0.0008
##     60        0.6454             nan     0.1000    0.0005
##     80        0.6285             nan     0.1000    0.0003
##    100        0.6174             nan     0.1000    0.0001
##    120        0.6084             nan     0.1000    0.0001
##    140        0.6018             nan     0.1000    0.0001
##    150        0.5993             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0360             nan     0.1000    0.0294
##      2        0.9888             nan     0.1000    0.0230
##      3        0.9519             nan     0.1000    0.0185
##      4        0.9189             nan     0.1000    0.0165
##      5        0.8933             nan     0.1000    0.0127
##      6        0.8682             nan     0.1000    0.0125
##      7        0.8490             nan     0.1000    0.0095
##      8        0.8307             nan     0.1000    0.0090
##      9        0.8141             nan     0.1000    0.0084
##     10        0.8000             nan     0.1000    0.0069
##     20        0.7168             nan     0.1000    0.0026
##     40        0.6492             nan     0.1000    0.0008
##     60        0.6242             nan     0.1000    0.0004
##     80        0.6081             nan     0.1000    0.0002
##    100        0.5975             nan     0.1000    0.0002
##    120        0.5901             nan     0.1000   -0.0000
##    140        0.5841             nan     0.1000    0.0000
##    150        0.5819             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0578             nan     0.1000    0.0186
##      2        1.0282             nan     0.1000    0.0150
##      3        1.0042             nan     0.1000    0.0122
##      4        0.9839             nan     0.1000    0.0097
##      5        0.9644             nan     0.1000    0.0098
##      6        0.9472             nan     0.1000    0.0085
##      7        0.9340             nan     0.1000    0.0062
##      8        0.9178             nan     0.1000    0.0078
##      9        0.9043             nan     0.1000    0.0063
##     10        0.8947             nan     0.1000    0.0046
##     20        0.8143             nan     0.1000    0.0031
##     40        0.7347             nan     0.1000    0.0015
##     60        0.6947             nan     0.1000    0.0009
##     80        0.6698             nan     0.1000    0.0004
##    100        0.6542             nan     0.1000    0.0002
##    120        0.6424             nan     0.1000    0.0001
##    140        0.6347             nan     0.1000    0.0001
##    150        0.6316             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0443             nan     0.1000    0.0262
##      2        1.0046             nan     0.1000    0.0199
##      3        0.9716             nan     0.1000    0.0167
##      4        0.9439             nan     0.1000    0.0139
##      5        0.9151             nan     0.1000    0.0146
##      6        0.8917             nan     0.1000    0.0118
##      7        0.8721             nan     0.1000    0.0096
##      8        0.8574             nan     0.1000    0.0075
##      9        0.8452             nan     0.1000    0.0061
##     10        0.8324             nan     0.1000    0.0064
##     20        0.7493             nan     0.1000    0.0024
##     40        0.6751             nan     0.1000    0.0012
##     60        0.6458             nan     0.1000    0.0003
##     80        0.6286             nan     0.1000    0.0005
##    100        0.6166             nan     0.1000    0.0004
##    120        0.6092             nan     0.1000    0.0001
##    140        0.6020             nan     0.1000    0.0000
##    150        0.5996             nan     0.1000    0.0000
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0365             nan     0.1000    0.0300
##      2        0.9892             nan     0.1000    0.0232
##      3        0.9524             nan     0.1000    0.0183
##      4        0.9203             nan     0.1000    0.0161
##      5        0.8943             nan     0.1000    0.0131
##      6        0.8719             nan     0.1000    0.0110
##      7        0.8527             nan     0.1000    0.0094
##      8        0.8336             nan     0.1000    0.0094
##      9        0.8171             nan     0.1000    0.0080
##     10        0.8034             nan     0.1000    0.0068
##     20        0.7198             nan     0.1000    0.0023
##     40        0.6533             nan     0.1000    0.0008
##     60        0.6264             nan     0.1000    0.0002
##     80        0.6089             nan     0.1000    0.0003
##    100        0.5989             nan     0.1000    0.0001
##    120        0.5904             nan     0.1000    0.0001
##    140        0.5842             nan     0.1000   -0.0000
##    150        0.5822             nan     0.1000    0.0001
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1        1.0364             nan     0.1000    0.0292
##      2        0.9899             nan     0.1000    0.0230
##      3        0.9530             nan     0.1000    0.0189
##      4        0.9207             nan     0.1000    0.0164
##      5        0.8942             nan     0.1000    0.0129
##      6        0.8729             nan     0.1000    0.0109
##      7        0.8514             nan     0.1000    0.0108
##      8        0.8331             nan     0.1000    0.0092
##      9        0.8200             nan     0.1000    0.0063
##     10        0.8074             nan     0.1000    0.0063
##     20        0.7214             nan     0.1000    0.0030
##     40        0.6544             nan     0.1000    0.0009
##     60        0.6264             nan     0.1000    0.0003
##     80        0.6110             nan     0.1000    0.0003
##    100        0.5996             nan     0.1000    0.0001
##    120        0.5926             nan     0.1000    0.0000
##    140        0.5873             nan     0.1000   -0.0000
##    150        0.5848             nan     0.1000    0.0001
summary(boostingtrain)

##                                         var     rel.inf
## Married.civ.spouse       Married.civ.spouse 36.52279385
## capital.gain                   capital.gain 19.98614726
## education.num                 education.num 19.43215771
## age                                     age  6.59421528
## capital.loss                   capital.loss  6.30308676
## hours.per.week               hours.per.week  4.36684944
## Exec.managerial             Exec.managerial  2.06255757
## Wife                                   Wife  0.69164792
## Prof.specialty               Prof.specialty  0.61752910
## Farming.fishing             Farming.fishing  0.55237470
## Self.emp.not.inc           Self.emp.not.inc  0.49422938
## Other.service                 Other.service  0.41444610
## Male                                   Male  0.39370763
## Tech.support                   Tech.support  0.32076657
## Married.AF.spouse         Married.AF.spouse  0.17353512
## Sales                                 Sales  0.16611691
## Local.gov                         Local.gov  0.14324173
## Not.in.family                 Not.in.family  0.13164689
## Self.emp.inc                   Self.emp.inc  0.09836303
## Machine.op.inspct         Machine.op.inspct  0.09136793
## White                                 White  0.08946089
## Protective.serv             Protective.serv  0.08671965
## United.States                 United.States  0.07037183
## Handlers.cleaners         Handlers.cleaners  0.06623173
## Own.child                         Own.child  0.05166759
## Philippines                     Philippines  0.04248981
## Widowed                             Widowed  0.01356904
## State.gov                         State.gov  0.01209187
## Transport.moving           Transport.moving  0.01061673
## No.gain                             No.gain  0.00000000
## Private                             Private  0.00000000
## Married.spouse.absent Married.spouse.absent  0.00000000
## Never.married                 Never.married  0.00000000
## Separated                         Separated  0.00000000
## Armed.Forces                   Armed.Forces  0.00000000
## Craft.repair                   Craft.repair  0.00000000
## Priv.house.serv             Priv.house.serv  0.00000000
## Other.relative               Other.relative  0.00000000
## Unmarried                         Unmarried  0.00000000
## Asian.Pac.Islander       Asian.Pac.Islander  0.00000000
## Black                                 Black  0.00000000
## Other                                 Other  0.00000000
## other_countries             other_countries  0.00000000
boostingtrain
## Stochastic Gradient Boosting 
## 
## 32402 samples
##    43 predictor
##     2 classes: '<=50K', '>50K' 
## 
## No pre-processing
## Resampling: Cross-Validated (10 fold, repeated 5 times) 
## Summary of sample sizes: 29162, 29161, 29162, 29162, 29162, 29162, ... 
## Resampling results across tuning parameters:
## 
##   interaction.depth  n.trees  Accuracy   Kappa    
##   1                   50      0.8431146  0.4816248
##   1                  100      0.8524843  0.5377526
##   1                  150      0.8540584  0.5478247
##   2                   50      0.8532744  0.5423939
##   2                  100      0.8570582  0.5620259
##   2                  150      0.8604901  0.5781097
##   3                   50      0.8552002  0.5510964
##   3                  100      0.8612740  0.5805378
##   3                  150      0.8642429  0.5933076
## 
## Tuning parameter 'shrinkage' was held constant at a value of 0.1
## 
## Tuning parameter 'n.minobsinnode' was held constant at a value of 10
## Accuracy was used to select the optimal model using  the largest value.
## The final values used for the model were n.trees = 150,
##  interaction.depth = 3, shrinkage = 0.1 and n.minobsinnode = 10.
boostingtrain$bestTune
##   n.trees interaction.depth shrinkage n.minobsinnode
## 9     150                 3       0.1             10
boostingtrain$results
##   shrinkage interaction.depth n.minobsinnode n.trees  Accuracy     Kappa
## 1       0.1                 1             10      50 0.8431146 0.4816248
## 4       0.1                 2             10      50 0.8532744 0.5423939
## 7       0.1                 3             10      50 0.8552002 0.5510964
## 2       0.1                 1             10     100 0.8524843 0.5377526
## 5       0.1                 2             10     100 0.8570582 0.5620259
## 8       0.1                 3             10     100 0.8612740 0.5805378
## 3       0.1                 1             10     150 0.8540584 0.5478247
## 6       0.1                 2             10     150 0.8604901 0.5781097
## 9       0.1                 3             10     150 0.8642429 0.5933076
##    AccuracySD    KappaSD
## 1 0.004809954 0.01989279
## 4 0.005088176 0.01718602
## 7 0.005030751 0.01692701
## 2 0.005360968 0.01868402
## 5 0.005063951 0.01689716
## 8 0.004921149 0.01572846
## 3 0.005253151 0.01767353
## 6 0.004820025 0.01558992
## 9 0.004983303 0.01554980
boostingtrain$finalModel
## A gradient boosted model with bernoulli loss function.
## 150 iterations were performed.
## There were 43 predictors of which 29 had non-zero influence.
boostingtrain$resample
##     Accuracy     Kappa    Resample
## 1  0.8731481 0.6167872 Fold04.Rep5
## 2  0.8673249 0.6005170 Fold01.Rep4
## 3  0.8623457 0.5871899 Fold03.Rep5
## 4  0.8756173 0.6304083 Fold10.Rep3
## 5  0.8604938 0.5754363 Fold05.Rep5
## 6  0.8672840 0.6073511 Fold02.Rep5
## 7  0.8608454 0.5856595 Fold09.Rep3
## 8  0.8567901 0.5705294 Fold02.Rep4
## 9  0.8642394 0.5943947 Fold01.Rep5
## 10 0.8614198 0.5842108 Fold08.Rep3
## 11 0.8716049 0.6145822 Fold09.Rep2
## 12 0.8568343 0.5676637 Fold06.Rep5
## 13 0.8608025 0.5851871 Fold10.Rep4
## 14 0.8604938 0.5733285 Fold07.Rep3
## 15 0.8694444 0.6113164 Fold08.Rep2
## 16 0.8673249 0.6051431 Fold03.Rep4
## 17 0.8638889 0.5904222 Fold09.Rep4
## 18 0.8577160 0.5739284 Fold08.Rep4
## 19 0.8611540 0.5835627 Fold07.Rep2
## 20 0.8657407 0.5955996 Fold10.Rep2
## 21 0.8722222 0.6190340 Fold07.Rep5
## 22 0.8632716 0.5905646 Fold07.Rep4
## 23 0.8660907 0.5987596 Fold06.Rep2
## 24 0.8570988 0.5737375 Fold07.Rep1
## 25 0.8672840 0.6012228 Fold04.Rep4
## 26 0.8604938 0.5808202 Fold04.Rep3
## 27 0.8632716 0.5873554 Fold05.Rep2
## 28 0.8703704 0.6108762 Fold06.Rep1
## 29 0.8645480 0.5970731 Fold01.Rep3
## 30 0.8679012 0.6050041 Fold08.Rep5
## 31 0.8580247 0.5670664 Fold06.Rep3
## 32 0.8638889 0.5924131 Fold04.Rep2
## 33 0.8608025 0.5827651 Fold08.Rep1
## 34 0.8626543 0.5871106 Fold05.Rep4
## 35 0.8641975 0.5962809 Fold05.Rep3
## 36 0.8651235 0.5925450 Fold03.Rep2
## 37 0.8663580 0.5982447 Fold04.Rep1
## 38 0.8614198 0.5901983 Fold02.Rep3
## 39 0.8657407 0.5952038 Fold09.Rep5
## 40 0.8580247 0.5771138 Fold02.Rep2
## 41 0.8645062 0.5954414 Fold03.Rep1
## 42 0.8707189 0.6131911 Fold09.Rep1
## 43 0.8719136 0.6138151 Fold06.Rep4
## 44 0.8558642 0.5671205 Fold01.Rep2
## 45 0.8651651 0.5957897 Fold02.Rep1
## 46 0.8558642 0.5666981 Fold05.Rep1
## 47 0.8688272 0.6113568 Fold03.Rep3
## 48 0.8570988 0.5849905 Fold10.Rep5
## 49 0.8688272 0.6102321 Fold10.Rep1
## 50 0.8700617 0.6101397 Fold01.Rep1
boostingtrain$resampledCM
##     shrinkage interaction.depth n.minobsinnode n.trees cell1 cell2 cell3
## 1         0.1                 1             10     150  2357   115   352
## 2         0.1                 1             10      50  2402    70   427
## 3         0.1                 1             10     100  2364   108   363
## 4         0.1                 2             10     150  2355   117   313
## 5         0.1                 2             10      50  2363   109   362
## 6         0.1                 2             10     100  2362   110   334
## 7         0.1                 3             10     150  2349   123   298
## 8         0.1                 3             10      50  2359   113   355
## 9         0.1                 3             10     100  2354   118   320
## 10        0.1                 1             10     150  2354   118   356
## 11        0.1                 1             10      50  2404    68   458
## 12        0.1                 1             10     100  2363   109   371
## 13        0.1                 2             10     150  2340   132   324
## 14        0.1                 2             10      50  2366   106   361
## 15        0.1                 2             10     100  2349   123   340
## 16        0.1                 3             10     150  2341   131   306
## 17        0.1                 3             10      50  2356   116   354
## 18        0.1                 3             10     100  2338   134   318
## 19        0.1                 1             10     150  2365   107   357
## 20        0.1                 1             10      50  2405    67   440
## 21        0.1                 1             10     100  2382    90   372
## 22        0.1                 2             10     150  2345   127   322
## 23        0.1                 2             10      50  2374    98   368
## 24        0.1                 2             10     100  2360   112   346
## 25        0.1                 3             10     150  2335   137   302
## 26        0.1                 3             10      50  2370   102   360
## 27        0.1                 3             10     100  2342   130   320
## 28        0.1                 1             10     150  2340   132   353
## 29        0.1                 1             10      50  2401    71   428
## 30        0.1                 1             10     100  2352   120   369
## 31        0.1                 2             10     150  2341   131   322
## 32        0.1                 2             10      50  2344   128   360
## 33        0.1                 2             10     100  2339   133   338
## 34        0.1                 3             10     150  2345   127   306
## 35        0.1                 3             10      50  2347   125   356
## 36        0.1                 3             10     100  2345   127   325
## 37        0.1                 1             10     150  2343   129   371
## 38        0.1                 1             10      50  2394    78   437
## 39        0.1                 1             10     100  2346   126   374
## 40        0.1                 2             10     150  2325   147   331
## 41        0.1                 2             10      50  2345   127   370
## 42        0.1                 2             10     100  2343   129   353
## 43        0.1                 3             10     150  2328   144   323
## 44        0.1                 3             10      50  2343   129   363
## 45        0.1                 3             10     100  2331   141   336
## 46        0.1                 1             10     150  2360   112   347
## 47        0.1                 1             10      50  2404    68   435
## 48        0.1                 1             10     100  2368   104   359
## 49        0.1                 2             10     150  2346   126   311
## 50        0.1                 2             10      50  2362   110   359
## 51        0.1                 2             10     100  2349   123   336
## 52        0.1                 3             10     150  2350   122   298
## 53        0.1                 3             10      50  2362   110   347
## 54        0.1                 3             10     100  2351   121   311
## 55        0.1                 1             10     150  2347   125   364
## 56        0.1                 1             10      50  2360   112   426
## 57        0.1                 1             10     100  2354   118   374
## 58        0.1                 2             10     150  2324   148   323
## 59        0.1                 2             10      50  2342   130   359
## 60        0.1                 2             10     100  2333   139   341
## 61        0.1                 3             10     150  2322   150   313
## 62        0.1                 3             10      50  2342   130   357
## 63        0.1                 3             10     100  2329   143   327
## 64        0.1                 1             10     150  2354   118   362
## 65        0.1                 1             10      50  2408    64   449
## 66        0.1                 1             10     100  2373    99   391
## 67        0.1                 2             10     150  2341   131   330
## 68        0.1                 2             10      50  2368   104   378
## 69        0.1                 2             10     100  2349   123   348
## 70        0.1                 3             10     150  2333   139   312
## 71        0.1                 3             10      50  2362   110   366
## 72        0.1                 3             10     100  2346   126   321
## 73        0.1                 1             10     150  2364   108   360
## 74        0.1                 1             10      50  2410    62   438
## 75        0.1                 1             10     100  2371   101   373
## 76        0.1                 2             10     150  2352   120   314
## 77        0.1                 2             10      50  2372   100   366
## 78        0.1                 2             10     100  2360   112   336
## 79        0.1                 3             10     150  2348   124   295
## 80        0.1                 3             10      50  2366   106   350
## 81        0.1                 3             10     100  2350   122   317
## 82        0.1                 1             10     150  2365   107   347
## 83        0.1                 1             10      50  2403    69   429
## 84        0.1                 1             10     100  2374    98   358
## 85        0.1                 2             10     150  2337   135   309
## 86        0.1                 2             10      50  2371   101   356
## 87        0.1                 2             10     100  2355   117   335
## 88        0.1                 3             10     150  2337   135   290
## 89        0.1                 3             10      50  2367   105   352
## 90        0.1                 3             10     100  2345   127   308
## 91        0.1                 1             10     150  2352   120   367
## 92        0.1                 1             10      50  2403    69   457
## 93        0.1                 1             10     100  2364   108   393
## 94        0.1                 2             10     150  2330   142   332
## 95        0.1                 2             10      50  2361   111   379
## 96        0.1                 2             10     100  2339   133   352
## 97        0.1                 3             10     150  2327   145   322
## 98        0.1                 3             10      50  2351   121   368
## 99        0.1                 3             10     100  2334   138   334
## 100       0.1                 1             10     150  2336   136   361
## 101       0.1                 1             10      50  2387    85   434
## 102       0.1                 1             10     100  2343   129   374
## 103       0.1                 2             10     150  2323   149   317
## 104       0.1                 2             10      50  2342   130   367
## 105       0.1                 2             10     100  2333   139   348
## 106       0.1                 3             10     150  2322   150   310
## 107       0.1                 3             10      50  2342   130   360
## 108       0.1                 3             10     100  2325   147   324
## 109       0.1                 1             10     150  2354   118   353
## 110       0.1                 1             10      50  2402    70   425
## 111       0.1                 1             10     100  2362   110   363
## 112       0.1                 2             10     150  2351   121   328
## 113       0.1                 2             10      50  2359   113   357
## 114       0.1                 2             10     100  2356   116   333
## 115       0.1                 3             10     150  2348   124   313
## 116       0.1                 3             10      50  2360   112   351
## 117       0.1                 3             10     100  2351   121   321
## 118       0.1                 1             10     150  2361   111   353
## 119       0.1                 1             10      50  2399    73   426
## 120       0.1                 1             10     100  2365   107   363
## 121       0.1                 2             10     150  2342   130   315
## 122       0.1                 2             10      50  2360   112   360
## 123       0.1                 2             10     100  2351   121   336
## 124       0.1                 3             10     150  2337   135   306
## 125       0.1                 3             10      50  2359   113   357
## 126       0.1                 3             10     100  2343   129   315
## 127       0.1                 1             10     150  2348   124   365
## 128       0.1                 1             10      50  2396    76   440
## 129       0.1                 1             10     100  2356   116   373
## 130       0.1                 2             10     150  2344   128   323
## 131       0.1                 2             10      50  2359   113   371
## 132       0.1                 2             10     100  2349   123   351
## 133       0.1                 3             10     150  2344   128   315
## 134       0.1                 3             10      50  2355   117   361
## 135       0.1                 3             10     100  2346   126   326
## 136       0.1                 1             10     150  2364   108   344
## 137       0.1                 1             10      50  2404    68   428
## 138       0.1                 1             10     100  2370   102   356
## 139       0.1                 2             10     150  2339   133   315
## 140       0.1                 2             10      50  2365   107   354
## 141       0.1                 2             10     100  2346   126   333
## 142       0.1                 3             10     150  2342   130   304
## 143       0.1                 3             10      50  2359   113   344
## 144       0.1                 3             10     100  2343   129   314
## 145       0.1                 1             10     150  2353   119   366
## 146       0.1                 1             10      50  2399    73   428
## 147       0.1                 1             10     100  2368   104   379
## 148       0.1                 2             10     150  2335   137   329
## 149       0.1                 2             10      50  2351   121   365
## 150       0.1                 2             10     100  2348   124   346
## 151       0.1                 3             10     150  2335   137   313
## 152       0.1                 3             10      50  2349   123   357
## 153       0.1                 3             10     100  2339   133   328
## 154       0.1                 1             10     150  2354   118   344
## 155       0.1                 1             10      50  2408    64   445
## 156       0.1                 1             10     100  2361   111   360
## 157       0.1                 2             10     150  2344   128   313
## 158       0.1                 2             10      50  2367   105   355
## 159       0.1                 2             10     100  2350   122   327
## 160       0.1                 3             10     150  2340   132   291
## 161       0.1                 3             10      50  2363   109   340
## 162       0.1                 3             10     100  2346   126   309
## 163       0.1                 1             10     150  2368   104   360
## 164       0.1                 1             10      50  2416    56   429
## 165       0.1                 1             10     100  2379    93   370
## 166       0.1                 2             10     150  2349   123   314
## 167       0.1                 2             10      50  2374    98   370
## 168       0.1                 2             10     100  2356   116   340
## 169       0.1                 3             10     150  2352   120   296
## 170       0.1                 3             10      50  2372   100   361
## 171       0.1                 3             10     100  2353   119   317
## 172       0.1                 1             10     150  2368   104   355
## 173       0.1                 1             10      50  2405    67   456
## 174       0.1                 1             10     100  2372   100   371
## 175       0.1                 2             10     150  2345   127   322
## 176       0.1                 2             10      50  2368   104   364
## 177       0.1                 2             10     100  2362   110   341
## 178       0.1                 3             10     150  2346   126   309
## 179       0.1                 3             10      50  2372   100   359
## 180       0.1                 3             10     100  2350   122   315
## 181       0.1                 1             10     150  2350   122   337
## 182       0.1                 1             10      50  2362   110   385
## 183       0.1                 1             10     100  2353   119   349
## 184       0.1                 2             10     150  2340   132   312
## 185       0.1                 2             10      50  2349   123   342
## 186       0.1                 2             10     100  2345   127   323
## 187       0.1                 3             10     150  2332   140   299
## 188       0.1                 3             10      50  2348   124   329
## 189       0.1                 3             10     100  2337   135   309
## 190       0.1                 1             10     150  2345   127   336
## 191       0.1                 1             10      50  2388    84   427
## 192       0.1                 1             10     100  2358   114   355
## 193       0.1                 2             10     150  2329   143   308
## 194       0.1                 2             10      50  2355   117   345
## 195       0.1                 2             10     100  2342   130   320
## 196       0.1                 3             10     150  2320   152   297
## 197       0.1                 3             10      50  2351   121   336
## 198       0.1                 3             10     100  2331   141   303
## 199       0.1                 1             10     150  2355   117   336
## 200       0.1                 1             10      50  2409    63   438
## 201       0.1                 1             10     100  2365   107   356
## 202       0.1                 2             10     150  2347   125   303
## 203       0.1                 2             10      50  2362   110   355
## 204       0.1                 2             10     100  2349   123   324
## 205       0.1                 3             10     150  2334   138   287
## 206       0.1                 3             10      50  2360   112   341
## 207       0.1                 3             10     100  2342   130   304
## 208       0.1                 1             10     150  2349   123   366
## 209       0.1                 1             10      50  2404    68   453
## 210       0.1                 1             10     100  2363   109   383
## 211       0.1                 2             10     150  2343   129   327
## 212       0.1                 2             10      50  2360   112   385
## 213       0.1                 2             10     100  2346   126   341
## 214       0.1                 3             10     150  2335   137   315
## 215       0.1                 3             10      50  2355   117   366
## 216       0.1                 3             10     100  2339   133   325
## 217       0.1                 1             10     150  2345   127   356
## 218       0.1                 1             10      50  2390    82   433
## 219       0.1                 1             10     100  2346   126   363
## 220       0.1                 2             10     150  2333   139   313
## 221       0.1                 2             10      50  2346   126   356
## 222       0.1                 2             10     100  2340   132   335
## 223       0.1                 3             10     150  2330   142   298
## 224       0.1                 3             10      50  2344   128   351
## 225       0.1                 3             10     100  2336   136   315
## 226       0.1                 1             10     150  2367   105   392
## 227       0.1                 1             10      50  2409    63   469
## 228       0.1                 1             10     100  2379    93   409
## 229       0.1                 2             10     150  2352   120   353
## 230       0.1                 2             10      50  2375    97   404
## 231       0.1                 2             10     100  2360   112   375
## 232       0.1                 3             10     150  2346   126   334
## 233       0.1                 3             10      50  2367   105   391
## 234       0.1                 3             10     100  2353   119   352
## 235       0.1                 1             10     150  2365   107   389
## 236       0.1                 1             10      50  2413    59   464
## 237       0.1                 1             10     100  2375    97   396
## 238       0.1                 2             10     150  2352   120   351
## 239       0.1                 2             10      50  2375    97   389
## 240       0.1                 2             10     100  2352   120   365
## 241       0.1                 3             10     150  2353   119   333
## 242       0.1                 3             10      50  2376    96   383
## 243       0.1                 3             10     100  2356   116   350
## 244       0.1                 1             10     150  2366   106   351
## 245       0.1                 1             10      50  2410    62   431
## 246       0.1                 1             10     100  2376    96   366
## 247       0.1                 2             10     150  2348   124   327
## 248       0.1                 2             10      50  2374    98   361
## 249       0.1                 2             10     100  2359   113   339
## 250       0.1                 3             10     150  2335   137   312
## 251       0.1                 3             10      50  2373    99   354
## 252       0.1                 3             10     100  2346   126   326
## 253       0.1                 1             10     150  2346   126   355
## 254       0.1                 1             10      50  2373    99   400
## 255       0.1                 1             10     100  2356   116   365
## 256       0.1                 2             10     150  2331   141   326
## 257       0.1                 2             10      50  2351   121   359
## 258       0.1                 2             10     100  2337   135   342
## 259       0.1                 3             10     150  2327   145   306
## 260       0.1                 3             10      50  2354   118   352
## 261       0.1                 3             10     100  2323   149   321
## 262       0.1                 1             10     150  2361   111   344
## 263       0.1                 1             10      50  2400    72   418
## 264       0.1                 1             10     100  2370   102   360
## 265       0.1                 2             10     150  2357   115   305
## 266       0.1                 2             10      50  2372   100   359
## 267       0.1                 2             10     100  2357   115   333
## 268       0.1                 3             10     150  2348   124   279
## 269       0.1                 3             10      50  2367   105   354
## 270       0.1                 3             10     100  2362   110   300
## 271       0.1                 1             10     150  2365   107   360
## 272       0.1                 1             10      50  2408    64   436
## 273       0.1                 1             10     100  2369   103   364
## 274       0.1                 2             10     150  2344   128   315
## 275       0.1                 2             10      50  2364   108   352
## 276       0.1                 2             10     100  2356   116   339
## 277       0.1                 3             10     150  2349   123   307
## 278       0.1                 3             10      50  2365   107   350
## 279       0.1                 3             10     100  2353   119   319
## 280       0.1                 1             10     150  2347   125   376
## 281       0.1                 1             10      50  2399    73   479
## 282       0.1                 1             10     100  2354   118   390
## 283       0.1                 2             10     150  2325   147   335
## 284       0.1                 2             10      50  2354   118   385
## 285       0.1                 2             10     100  2336   136   361
## 286       0.1                 3             10     150  2327   145   319
## 287       0.1                 3             10      50  2346   126   373
## 288       0.1                 3             10     100  2326   146   335
## 289       0.1                 1             10     150  2357   115   349
## 290       0.1                 1             10      50  2408    64   431
## 291       0.1                 1             10     100  2371   101   355
## 292       0.1                 2             10     150  2339   133   309
## 293       0.1                 2             10      50  2370   102   355
## 294       0.1                 2             10     100  2352   120   328
## 295       0.1                 3             10     150  2337   135   295
## 296       0.1                 3             10      50  2363   109   339
## 297       0.1                 3             10     100  2346   126   305
## 298       0.1                 1             10     150  2365   107   358
## 299       0.1                 1             10      50  2378    94   414
## 300       0.1                 1             10     100  2375    97   382
## 301       0.1                 2             10     150  2356   116   325
## 302       0.1                 2             10      50  2369   103   368
## 303       0.1                 2             10     100  2365   107   340
## 304       0.1                 3             10     150  2346   126   304
## 305       0.1                 3             10      50  2368   104   360
## 306       0.1                 3             10     100  2349   123   318
## 307       0.1                 1             10     150  2365   107   354
## 308       0.1                 1             10      50  2400    72   441
## 309       0.1                 1             10     100  2364   108   373
## 310       0.1                 2             10     150  2343   129   323
## 311       0.1                 2             10      50  2359   113   365
## 312       0.1                 2             10     100  2353   119   341
## 313       0.1                 3             10     150  2339   133   312
## 314       0.1                 3             10      50  2358   114   354
## 315       0.1                 3             10     100  2350   122   323
## 316       0.1                 1             10     150  2365   107   336
## 317       0.1                 1             10      50  2417    55   429
## 318       0.1                 1             10     100  2376    96   356
## 319       0.1                 2             10     150  2358   114   303
## 320       0.1                 2             10      50  2370   102   351
## 321       0.1                 2             10     100  2353   119   316
## 322       0.1                 3             10     150  2357   115   300
## 323       0.1                 3             10      50  2362   110   341
## 324       0.1                 3             10     100  2359   113   305
## 325       0.1                 1             10     150  2349   123   345
## 326       0.1                 1             10      50  2395    77   422
## 327       0.1                 1             10     100  2362   110   356
## 328       0.1                 2             10     150  2339   133   321
## 329       0.1                 2             10      50  2358   114   351
## 330       0.1                 2             10     100  2346   126   329
## 331       0.1                 3             10     150  2336   136   307
## 332       0.1                 3             10      50  2360   112   340
## 333       0.1                 3             10     100  2335   137   317
## 334       0.1                 1             10     150  2351   121   372
## 335       0.1                 1             10      50  2393    79   465
## 336       0.1                 1             10     100  2353   119   388
## 337       0.1                 2             10     150  2335   137   325
## 338       0.1                 2             10      50  2351   121   378
## 339       0.1                 2             10     100  2348   124   359
## 340       0.1                 3             10     150  2327   145   316
## 341       0.1                 3             10      50  2350   122   368
## 342       0.1                 3             10     100  2335   137   330
## 343       0.1                 1             10     150  2357   115   348
## 344       0.1                 1             10      50  2399    73   422
## 345       0.1                 1             10     100  2367   105   358
## 346       0.1                 2             10     150  2341   131   327
## 347       0.1                 2             10      50  2361   111   359
## 348       0.1                 2             10     100  2349   123   345
## 349       0.1                 3             10     150  2342   130   311
## 350       0.1                 3             10      50  2359   113   352
## 351       0.1                 3             10     100  2349   123   327
## 352       0.1                 1             10     150  2341   131   367
## 353       0.1                 1             10      50  2387    85   436
## 354       0.1                 1             10     100  2349   123   381
## 355       0.1                 2             10     150  2332   140   330
## 356       0.1                 2             10      50  2346   126   377
## 357       0.1                 2             10     100  2337   135   350
## 358       0.1                 3             10     150  2327   145   306
## 359       0.1                 3             10      50  2344   128   367
## 360       0.1                 3             10     100  2332   140   328
## 361       0.1                 1             10     150  2352   120   355
## 362       0.1                 1             10      50  2398    74   436
## 363       0.1                 1             10     100  2364   108   369
## 364       0.1                 2             10     150  2347   125   331
## 365       0.1                 2             10      50  2364   108   367
## 366       0.1                 2             10     100  2349   123   348
## 367       0.1                 3             10     150  2336   136   304
## 368       0.1                 3             10      50  2355   117   360
## 369       0.1                 3             10     100  2343   129   330
## 370       0.1                 1             10     150  2357   115   343
## 371       0.1                 1             10      50  2401    71   424
## 372       0.1                 1             10     100  2363   109   350
## 373       0.1                 2             10     150  2342   130   309
## 374       0.1                 2             10      50  2361   111   338
## 375       0.1                 2             10     100  2350   122   320
## 376       0.1                 3             10     150  2330   142   288
## 377       0.1                 3             10      50  2358   114   329
## 378       0.1                 3             10     100  2337   135   304
## 379       0.1                 1             10     150  2348   124   364
## 380       0.1                 1             10      50  2398    74   449
## 381       0.1                 1             10     100  2357   115   379
## 382       0.1                 2             10     150  2339   133   335
## 383       0.1                 2             10      50  2358   114   378
## 384       0.1                 2             10     100  2346   126   353
## 385       0.1                 3             10     150  2336   136   310
## 386       0.1                 3             10      50  2348   124   361
## 387       0.1                 3             10     100  2336   136   323
## 388       0.1                 1             10     150  2378    94   349
## 389       0.1                 1             10      50  2414    58   438
## 390       0.1                 1             10     100  2380    92   363
## 391       0.1                 2             10     150  2364   108   320
## 392       0.1                 2             10      50  2380    92   360
## 393       0.1                 2             10     100  2376    96   335
## 394       0.1                 3             10     150  2361   111   300
## 395       0.1                 3             10      50  2376    96   348
## 396       0.1                 3             10     100  2359   113   316
## 397       0.1                 1             10     150  2356   116   375
## 398       0.1                 1             10      50  2411    61   447
## 399       0.1                 1             10     100  2364   108   390
## 400       0.1                 2             10     150  2343   129   348
## 401       0.1                 2             10      50  2357   115   378
## 402       0.1                 2             10     100  2345   127   358
## 403       0.1                 3             10     150  2348   124   328
## 404       0.1                 3             10      50  2359   113   372
## 405       0.1                 3             10     100  2351   121   344
## 406       0.1                 1             10     150  2365   107   383
## 407       0.1                 1             10      50  2404    68   467
## 408       0.1                 1             10     100  2371   101   397
## 409       0.1                 2             10     150  2342   130   344
## 410       0.1                 2             10      50  2362   110   387
## 411       0.1                 2             10     100  2353   119   369
## 412       0.1                 3             10     150  2335   137   327
## 413       0.1                 3             10      50  2367   105   385
## 414       0.1                 3             10     100  2343   129   338
## 415       0.1                 1             10     150  2380    92   336
## 416       0.1                 1             10      50  2410    62   418
## 417       0.1                 1             10     100  2384    88   343
## 418       0.1                 2             10     150  2350   122   305
## 419       0.1                 2             10      50  2384    88   342
## 420       0.1                 2             10     100  2366   106   325
## 421       0.1                 3             10     150  2346   126   288
## 422       0.1                 3             10      50  2379    93   336
## 423       0.1                 3             10     100  2357   115   304
## 424       0.1                 1             10     150  2356   116   361
## 425       0.1                 1             10      50  2406    66   440
## 426       0.1                 1             10     100  2369   103   383
## 427       0.1                 2             10     150  2348   124   324
## 428       0.1                 2             10      50  2362   110   371
## 429       0.1                 2             10     100  2350   122   337
## 430       0.1                 3             10     150  2342   130   298
## 431       0.1                 3             10      50  2361   111   358
## 432       0.1                 3             10     100  2346   126   317
## 433       0.1                 1             10     150  2349   123   363
## 434       0.1                 1             10      50  2401    71   438
## 435       0.1                 1             10     100  2356   116   380
## 436       0.1                 2             10     150  2343   129   325
## 437       0.1                 2             10      50  2355   117   371
## 438       0.1                 2             10     100  2345   127   347
## 439       0.1                 3             10     150  2347   125   310
## 440       0.1                 3             10      50  2355   117   362
## 441       0.1                 3             10     100  2340   132   324
## 442       0.1                 1             10     150  2319   153   329
## 443       0.1                 1             10      50  2385    87   412
## 444       0.1                 1             10     100  2331   141   341
## 445       0.1                 2             10     150  2310   162   296
## 446       0.1                 2             10      50  2324   148   343
## 447       0.1                 2             10     100  2313   159   311
## 448       0.1                 3             10     150  2294   178   285
## 449       0.1                 3             10      50  2316   156   329
## 450       0.1                 3             10     100  2305   167   294
##     cell4    Resample
## 1     416 Fold01.Rep1
## 2     341 Fold01.Rep1
## 3     405 Fold01.Rep1
## 4     455 Fold01.Rep1
## 5     406 Fold01.Rep1
## 6     434 Fold01.Rep1
## 7     470 Fold01.Rep1
## 8     413 Fold01.Rep1
## 9     448 Fold01.Rep1
## 10    413 Fold02.Rep1
## 11    311 Fold02.Rep1
## 12    398 Fold02.Rep1
## 13    445 Fold02.Rep1
## 14    408 Fold02.Rep1
## 15    429 Fold02.Rep1
## 16    463 Fold02.Rep1
## 17    415 Fold02.Rep1
## 18    451 Fold02.Rep1
## 19    411 Fold03.Rep1
## 20    328 Fold03.Rep1
## 21    396 Fold03.Rep1
## 22    446 Fold03.Rep1
## 23    400 Fold03.Rep1
## 24    422 Fold03.Rep1
## 25    466 Fold03.Rep1
## 26    408 Fold03.Rep1
## 27    448 Fold03.Rep1
## 28    415 Fold04.Rep1
## 29    340 Fold04.Rep1
## 30    399 Fold04.Rep1
## 31    446 Fold04.Rep1
## 32    408 Fold04.Rep1
## 33    430 Fold04.Rep1
## 34    462 Fold04.Rep1
## 35    412 Fold04.Rep1
## 36    443 Fold04.Rep1
## 37    397 Fold05.Rep1
## 38    331 Fold05.Rep1
## 39    394 Fold05.Rep1
## 40    437 Fold05.Rep1
## 41    398 Fold05.Rep1
## 42    415 Fold05.Rep1
## 43    445 Fold05.Rep1
## 44    405 Fold05.Rep1
## 45    432 Fold05.Rep1
## 46    421 Fold06.Rep1
## 47    333 Fold06.Rep1
## 48    409 Fold06.Rep1
## 49    457 Fold06.Rep1
## 50    409 Fold06.Rep1
## 51    432 Fold06.Rep1
## 52    470 Fold06.Rep1
## 53    421 Fold06.Rep1
## 54    457 Fold06.Rep1
## 55    404 Fold07.Rep1
## 56    342 Fold07.Rep1
## 57    394 Fold07.Rep1
## 58    445 Fold07.Rep1
## 59    409 Fold07.Rep1
## 60    427 Fold07.Rep1
## 61    455 Fold07.Rep1
## 62    411 Fold07.Rep1
## 63    441 Fold07.Rep1
## 64    406 Fold08.Rep1
## 65    319 Fold08.Rep1
## 66    377 Fold08.Rep1
## 67    438 Fold08.Rep1
## 68    390 Fold08.Rep1
## 69    420 Fold08.Rep1
## 70    456 Fold08.Rep1
## 71    402 Fold08.Rep1
## 72    447 Fold08.Rep1
## 73    409 Fold09.Rep1
## 74    331 Fold09.Rep1
## 75    396 Fold09.Rep1
## 76    455 Fold09.Rep1
## 77    403 Fold09.Rep1
## 78    433 Fold09.Rep1
## 79    474 Fold09.Rep1
## 80    419 Fold09.Rep1
## 81    452 Fold09.Rep1
## 82    421 Fold10.Rep1
## 83    339 Fold10.Rep1
## 84    410 Fold10.Rep1
## 85    459 Fold10.Rep1
## 86    412 Fold10.Rep1
## 87    433 Fold10.Rep1
## 88    478 Fold10.Rep1
## 89    416 Fold10.Rep1
## 90    460 Fold10.Rep1
## 91    401 Fold01.Rep2
## 92    311 Fold01.Rep2
## 93    375 Fold01.Rep2
## 94    436 Fold01.Rep2
## 95    389 Fold01.Rep2
## 96    416 Fold01.Rep2
## 97    446 Fold01.Rep2
## 98    400 Fold01.Rep2
## 99    434 Fold01.Rep2
## 100   407 Fold02.Rep2
## 101   334 Fold02.Rep2
## 102   394 Fold02.Rep2
## 103   451 Fold02.Rep2
## 104   401 Fold02.Rep2
## 105   420 Fold02.Rep2
## 106   458 Fold02.Rep2
## 107   408 Fold02.Rep2
## 108   444 Fold02.Rep2
## 109   415 Fold03.Rep2
## 110   343 Fold03.Rep2
## 111   405 Fold03.Rep2
## 112   440 Fold03.Rep2
## 113   411 Fold03.Rep2
## 114   435 Fold03.Rep2
## 115   455 Fold03.Rep2
## 116   417 Fold03.Rep2
## 117   447 Fold03.Rep2
## 118   415 Fold04.Rep2
## 119   342 Fold04.Rep2
## 120   405 Fold04.Rep2
## 121   453 Fold04.Rep2
## 122   408 Fold04.Rep2
## 123   432 Fold04.Rep2
## 124   462 Fold04.Rep2
## 125   411 Fold04.Rep2
## 126   453 Fold04.Rep2
## 127   403 Fold05.Rep2
## 128   328 Fold05.Rep2
## 129   395 Fold05.Rep2
## 130   445 Fold05.Rep2
## 131   397 Fold05.Rep2
## 132   417 Fold05.Rep2
## 133   453 Fold05.Rep2
## 134   407 Fold05.Rep2
## 135   442 Fold05.Rep2
## 136   425 Fold06.Rep2
## 137   341 Fold06.Rep2
## 138   413 Fold06.Rep2
## 139   454 Fold06.Rep2
## 140   415 Fold06.Rep2
## 141   436 Fold06.Rep2
## 142   465 Fold06.Rep2
## 143   425 Fold06.Rep2
## 144   455 Fold06.Rep2
## 145   403 Fold07.Rep2
## 146   341 Fold07.Rep2
## 147   390 Fold07.Rep2
## 148   440 Fold07.Rep2
## 149   404 Fold07.Rep2
## 150   423 Fold07.Rep2
## 151   456 Fold07.Rep2
## 152   412 Fold07.Rep2
## 153   441 Fold07.Rep2
## 154   424 Fold08.Rep2
## 155   323 Fold08.Rep2
## 156   408 Fold08.Rep2
## 157   455 Fold08.Rep2
## 158   413 Fold08.Rep2
## 159   441 Fold08.Rep2
## 160   477 Fold08.Rep2
## 161   428 Fold08.Rep2
## 162   459 Fold08.Rep2
## 163   408 Fold09.Rep2
## 164   339 Fold09.Rep2
## 165   398 Fold09.Rep2
## 166   454 Fold09.Rep2
## 167   398 Fold09.Rep2
## 168   428 Fold09.Rep2
## 169   472 Fold09.Rep2
## 170   407 Fold09.Rep2
## 171   451 Fold09.Rep2
## 172   413 Fold10.Rep2
## 173   312 Fold10.Rep2
## 174   397 Fold10.Rep2
## 175   446 Fold10.Rep2
## 176   404 Fold10.Rep2
## 177   427 Fold10.Rep2
## 178   459 Fold10.Rep2
## 179   409 Fold10.Rep2
## 180   453 Fold10.Rep2
## 181   432 Fold01.Rep3
## 182   384 Fold01.Rep3
## 183   420 Fold01.Rep3
## 184   457 Fold01.Rep3
## 185   427 Fold01.Rep3
## 186   446 Fold01.Rep3
## 187   470 Fold01.Rep3
## 188   440 Fold01.Rep3
## 189   460 Fold01.Rep3
## 190   432 Fold02.Rep3
## 191   341 Fold02.Rep3
## 192   413 Fold02.Rep3
## 193   460 Fold02.Rep3
## 194   423 Fold02.Rep3
## 195   448 Fold02.Rep3
## 196   471 Fold02.Rep3
## 197   432 Fold02.Rep3
## 198   465 Fold02.Rep3
## 199   432 Fold03.Rep3
## 200   330 Fold03.Rep3
## 201   412 Fold03.Rep3
## 202   465 Fold03.Rep3
## 203   413 Fold03.Rep3
## 204   444 Fold03.Rep3
## 205   481 Fold03.Rep3
## 206   427 Fold03.Rep3
## 207   464 Fold03.Rep3
## 208   402 Fold04.Rep3
## 209   315 Fold04.Rep3
## 210   385 Fold04.Rep3
## 211   441 Fold04.Rep3
## 212   383 Fold04.Rep3
## 213   427 Fold04.Rep3
## 214   453 Fold04.Rep3
## 215   402 Fold04.Rep3
## 216   443 Fold04.Rep3
## 217   412 Fold05.Rep3
## 218   335 Fold05.Rep3
## 219   405 Fold05.Rep3
## 220   455 Fold05.Rep3
## 221   412 Fold05.Rep3
## 222   433 Fold05.Rep3
## 223   470 Fold05.Rep3
## 224   417 Fold05.Rep3
## 225   453 Fold05.Rep3
## 226   376 Fold06.Rep3
## 227   299 Fold06.Rep3
## 228   359 Fold06.Rep3
## 229   415 Fold06.Rep3
## 230   364 Fold06.Rep3
## 231   393 Fold06.Rep3
## 232   434 Fold06.Rep3
## 233   377 Fold06.Rep3
## 234   416 Fold06.Rep3
## 235   379 Fold07.Rep3
## 236   304 Fold07.Rep3
## 237   372 Fold07.Rep3
## 238   417 Fold07.Rep3
## 239   379 Fold07.Rep3
## 240   403 Fold07.Rep3
## 241   435 Fold07.Rep3
## 242   385 Fold07.Rep3
## 243   418 Fold07.Rep3
## 244   417 Fold08.Rep3
## 245   337 Fold08.Rep3
## 246   402 Fold08.Rep3
## 247   441 Fold08.Rep3
## 248   407 Fold08.Rep3
## 249   429 Fold08.Rep3
## 250   456 Fold08.Rep3
## 251   414 Fold08.Rep3
## 252   442 Fold08.Rep3
## 253   414 Fold09.Rep3
## 254   369 Fold09.Rep3
## 255   404 Fold09.Rep3
## 256   443 Fold09.Rep3
## 257   410 Fold09.Rep3
## 258   427 Fold09.Rep3
## 259   463 Fold09.Rep3
## 260   417 Fold09.Rep3
## 261   448 Fold09.Rep3
## 262   424 Fold10.Rep3
## 263   350 Fold10.Rep3
## 264   408 Fold10.Rep3
## 265   463 Fold10.Rep3
## 266   409 Fold10.Rep3
## 267   435 Fold10.Rep3
## 268   489 Fold10.Rep3
## 269   414 Fold10.Rep3
## 270   468 Fold10.Rep3
## 271   409 Fold01.Rep4
## 272   333 Fold01.Rep4
## 273   405 Fold01.Rep4
## 274   454 Fold01.Rep4
## 275   417 Fold01.Rep4
## 276   430 Fold01.Rep4
## 277   462 Fold01.Rep4
## 278   419 Fold01.Rep4
## 279   450 Fold01.Rep4
## 280   392 Fold02.Rep4
## 281   289 Fold02.Rep4
## 282   378 Fold02.Rep4
## 283   433 Fold02.Rep4
## 284   383 Fold02.Rep4
## 285   407 Fold02.Rep4
## 286   449 Fold02.Rep4
## 287   395 Fold02.Rep4
## 288   433 Fold02.Rep4
## 289   420 Fold03.Rep4
## 290   338 Fold03.Rep4
## 291   414 Fold03.Rep4
## 292   460 Fold03.Rep4
## 293   414 Fold03.Rep4
## 294   441 Fold03.Rep4
## 295   474 Fold03.Rep4
## 296   430 Fold03.Rep4
## 297   464 Fold03.Rep4
## 298   410 Fold04.Rep4
## 299   354 Fold04.Rep4
## 300   386 Fold04.Rep4
## 301   443 Fold04.Rep4
## 302   400 Fold04.Rep4
## 303   428 Fold04.Rep4
## 304   464 Fold04.Rep4
## 305   408 Fold04.Rep4
## 306   450 Fold04.Rep4
## 307   414 Fold05.Rep4
## 308   327 Fold05.Rep4
## 309   395 Fold05.Rep4
## 310   445 Fold05.Rep4
## 311   403 Fold05.Rep4
## 312   427 Fold05.Rep4
## 313   456 Fold05.Rep4
## 314   414 Fold05.Rep4
## 315   445 Fold05.Rep4
## 316   432 Fold06.Rep4
## 317   339 Fold06.Rep4
## 318   412 Fold06.Rep4
## 319   465 Fold06.Rep4
## 320   417 Fold06.Rep4
## 321   452 Fold06.Rep4
## 322   468 Fold06.Rep4
## 323   427 Fold06.Rep4
## 324   463 Fold06.Rep4
## 325   423 Fold07.Rep4
## 326   346 Fold07.Rep4
## 327   412 Fold07.Rep4
## 328   447 Fold07.Rep4
## 329   417 Fold07.Rep4
## 330   439 Fold07.Rep4
## 331   461 Fold07.Rep4
## 332   428 Fold07.Rep4
## 333   451 Fold07.Rep4
## 334   396 Fold08.Rep4
## 335   303 Fold08.Rep4
## 336   380 Fold08.Rep4
## 337   443 Fold08.Rep4
## 338   390 Fold08.Rep4
## 339   409 Fold08.Rep4
## 340   452 Fold08.Rep4
## 341   400 Fold08.Rep4
## 342   438 Fold08.Rep4
## 343   420 Fold09.Rep4
## 344   346 Fold09.Rep4
## 345   410 Fold09.Rep4
## 346   441 Fold09.Rep4
## 347   409 Fold09.Rep4
## 348   423 Fold09.Rep4
## 349   457 Fold09.Rep4
## 350   416 Fold09.Rep4
## 351   441 Fold09.Rep4
## 352   401 Fold10.Rep4
## 353   332 Fold10.Rep4
## 354   387 Fold10.Rep4
## 355   438 Fold10.Rep4
## 356   391 Fold10.Rep4
## 357   418 Fold10.Rep4
## 358   462 Fold10.Rep4
## 359   401 Fold10.Rep4
## 360   440 Fold10.Rep4
## 361   414 Fold01.Rep5
## 362   333 Fold01.Rep5
## 363   400 Fold01.Rep5
## 364   438 Fold01.Rep5
## 365   402 Fold01.Rep5
## 366   421 Fold01.Rep5
## 367   465 Fold01.Rep5
## 368   409 Fold01.Rep5
## 369   439 Fold01.Rep5
## 370   425 Fold02.Rep5
## 371   344 Fold02.Rep5
## 372   418 Fold02.Rep5
## 373   459 Fold02.Rep5
## 374   430 Fold02.Rep5
## 375   448 Fold02.Rep5
## 376   480 Fold02.Rep5
## 377   439 Fold02.Rep5
## 378   464 Fold02.Rep5
## 379   404 Fold03.Rep5
## 380   319 Fold03.Rep5
## 381   389 Fold03.Rep5
## 382   433 Fold03.Rep5
## 383   390 Fold03.Rep5
## 384   415 Fold03.Rep5
## 385   458 Fold03.Rep5
## 386   407 Fold03.Rep5
## 387   445 Fold03.Rep5
## 388   419 Fold04.Rep5
## 389   330 Fold04.Rep5
## 390   405 Fold04.Rep5
## 391   448 Fold04.Rep5
## 392   408 Fold04.Rep5
## 393   433 Fold04.Rep5
## 394   468 Fold04.Rep5
## 395   420 Fold04.Rep5
## 396   452 Fold04.Rep5
## 397   393 Fold05.Rep5
## 398   321 Fold05.Rep5
## 399   378 Fold05.Rep5
## 400   420 Fold05.Rep5
## 401   390 Fold05.Rep5
## 402   410 Fold05.Rep5
## 403   440 Fold05.Rep5
## 404   396 Fold05.Rep5
## 405   424 Fold05.Rep5
## 406   386 Fold06.Rep5
## 407   302 Fold06.Rep5
## 408   372 Fold06.Rep5
## 409   425 Fold06.Rep5
## 410   382 Fold06.Rep5
## 411   400 Fold06.Rep5
## 412   442 Fold06.Rep5
## 413   384 Fold06.Rep5
## 414   431 Fold06.Rep5
## 415   432 Fold07.Rep5
## 416   350 Fold07.Rep5
## 417   425 Fold07.Rep5
## 418   463 Fold07.Rep5
## 419   426 Fold07.Rep5
## 420   443 Fold07.Rep5
## 421   480 Fold07.Rep5
## 422   432 Fold07.Rep5
## 423   464 Fold07.Rep5
## 424   407 Fold08.Rep5
## 425   328 Fold08.Rep5
## 426   385 Fold08.Rep5
## 427   444 Fold08.Rep5
## 428   397 Fold08.Rep5
## 429   431 Fold08.Rep5
## 430   470 Fold08.Rep5
## 431   410 Fold08.Rep5
## 432   451 Fold08.Rep5
## 433   405 Fold09.Rep5
## 434   330 Fold09.Rep5
## 435   388 Fold09.Rep5
## 436   443 Fold09.Rep5
## 437   397 Fold09.Rep5
## 438   421 Fold09.Rep5
## 439   458 Fold09.Rep5
## 440   406 Fold09.Rep5
## 441   444 Fold09.Rep5
## 442   439 Fold10.Rep5
## 443   356 Fold10.Rep5
## 444   427 Fold10.Rep5
## 445   472 Fold10.Rep5
## 446   425 Fold10.Rep5
## 447   457 Fold10.Rep5
## 448   483 Fold10.Rep5
## 449   439 Fold10.Rep5
## 450   474 Fold10.Rep5
boostingtrain$perfNames
## [1] "Accuracy" "Kappa"
#Optimal model
# boostingoptimal <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 150,
#                 interaction.depth = 3, shrinkage = 0.1)
# summary(boostingoptimal)
# varImp(boostingoptimal, numTrees = 150)

#Test error of the optimal model
# testerroroptimal <- c()
# thresh <- 0.5
# for(i in 1:15){
#   yhat <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "prob")
#   yhat <- (yhat > thresh)
#   testerroroptimal[i] <- mean(yhat != combined[32403:48598, 44])
# }
# plot(testerroroptimal)



#ROC curve - testing
set.seed(100)
posopt <- c()
posopt <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = 150, type = "prob")
predictsopt <- prediction(posopt[, 2], combined[32403:48598, 44])
rocopt <- ROCR::performance(predictsopt, measure = "tpr", x.measure = "fpr")
plot(rocopt)
abline(0, 1, col = "red")

aucopt <- ROCR::performance(predictsopt, measure = "auc")
aucopt@y.values
## [[1]]
## [1] 0.9177315
#ROC and AUC combined testing 
plot(roc1, type = "l", col = "red")
par(new = TRUE)
plot(roc2, type = "l", col = "green")
par(new = TRUE)
plot(roc3, type = "l", col = "blue")
par(new = TRUE)
plot(roc4, type = "l", col = "black")
par(new = TRUE)
plot(roc5, type = "l", col = "yellow")
par(new = TRUE)
plot(rocopt, type = "l", col = "purple",
     main = "1: red, 2: green, 3: blue, 4: black, 5: yellow, trained: purple")

#Train error of the optimal model
# trainerroropt <- c()
# thresh <- 0.5
# for(i in 1:500){
#   yhat <- predict(boostingoptimal, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
#   yhat <- (yhat > thresh)
#   trainerroropt[i] <- mean(yhat != combined[1:32402, 44])
# }
# plot(trainerroropt)



#ROC curve - training
pos5opt <- c()
pos5opt <- predict(boostingtrain, newdata = combined[1:32402, -44], n.trees = 150, type = "prob")
predicts5opt <- prediction(pos5opt[, 2], combined[1:32402, 44])
roc5opt <- ROCR::performance(predicts5opt, measure = "tpr", x.measure = "fpr")
plot(roc5opt)
abline(0, 1, col = "red")

auc5opt <- ROCR::performance(predicts5opt, measure = "auc")
auc5opt@y.values
## [[1]]
## [1] 0.9215941
# boosting <- C50::C5.0(newtrain2[, -45], newtrain2[, 45], trials = 10) #boosting iteration = 10
# summary(boosting)
# 
# classes <- predict(boosting, newtest2[, -45], type = "class")
# table(classes, newtest2[, 45])
# 
# acc <- sum(classes == newtest2[, 45]) / length(newtest2[, 45])
# acc



# https://github.com/topepo/caret/blob/master/RegressionTests/Code/C5.0.R 
# 
# cctrl1 <- trainControl(method = "cv", number = 3, returnResamp = "all",
#                        classProbs = TRUE, 
#                        summaryFunction = twoClassSummary)
# cctrl2 <- trainControl(method = "LOOCV",
#                        classProbs = TRUE, summaryFunction = twoClassSummary)
# cctrl3 <- trainControl(method = "none",
#                        classProbs = TRUE, summaryFunction = twoClassSummary)
# cctrlR <- trainControl(method = "cv", number = 3, returnResamp = "all",
#                        classProbs = TRUE, 
#                        search = "random")
# 
# y <- as.numeric(newtrain2$income) - 1 
# test_class_cv_model <- train(newtrain2[, -45], y, 
#                               method = "C5.0", 
#                               trControl = cctrl1,
#                               metric = "ROC", 
#                               control = C50::C5.0Control(seed = 1),
#                               preProc = c("center", "scale"))

\(\\\)

\(\\\)

Threshold decision

We commented out, since it takes extremly long to run this chunk…

\(\\\)

\(\\\)

Model selection

set.seed(100)
thresh <- 0.5



a <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
a1 <- (a > thresh)
a2 <- mean(a1 == combined[32403:48598, 44])



b <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = 2000, type = "response")
b1 <- (b > 0.3)
b2 <- mean(b1 == combined[32403:48598, 44])



c <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
c1 <- (c > thresh)
c2 <- mean(c1 == combined[32403:48598, 44])



d <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = 200, type = "response")
d1 <- (d > thresh)
d2 <- mean(d1 == combined[32403:48598, 44])



e <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = 800, type = "response")
e1 <- (e > thresh)
e2 <- mean(e1 == combined[32403:48598, 44])



f <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = 150, type = "raw")
f1 <- as.numeric(f) - 1
f2 <- mean(f1 == combined[32403:48598, 44])



a2
## [1] 0.8631761
b2
## [1] 0.835021
c2
## [1] 0.857187
d2
## [1] 0.8700296
e2
## [1] 0.8710175
f2
## [1] 0.8670042

\(\\\)

\(\\\)

Best model

final.auc4 <- boosting5

final.thres4 <- boosting4

Comment:

The model with the highest AUC and the highest testing set accuracy rate are the same!